Resumo Técnico: T3R - Adaptação de Teste Mais Profunda para Redes Neurais de Grafos via Rotação de Gradiente

1. Declaração do Problema

Redes Neurais de Grafos (GNNs) implantadas em sistemas do mundo real, como redes de distribuição de água, infraestrutura 5G e redes de computadores, operam tipicamente com pesos fixos após o treinamento. Esse paradigma estático leva à degradação do desempenho ao encontrar mudanças de distribuição (deriva de conceito/concept drift), uma ocorrência comum em dados de sensores onde as condições mudam ao longo do tempo.

Embora o Treinamento em Tempo de Teste (TTT - Test-Time Training) ofereça uma solução ao adaptar modelos usando dados de teste não rotulados por meio de uma tarefa auxiliar de Aprendizado Autossupervisionado (SSL), as abordagens existentes enfrentam limitações significativas no domínio de grafos:

1. Adaptação Rasa: Métodos convencionais de TTT (ex: Sun et al., 2020) tipicamente atualizam apenas o codificador compartilhado e o decodificador SSL durante a inferência, deixando o decodificador da tarefa principal fixo. Isso restringe a capacidade do modelo de se adaptar totalmente a novas distribuições.
2. Desalinhamento de Tarefas: Selecionar uma tarefa SSL auxiliar que se alinhe significativamente com uma tarefa alvo específica baseada em grafos é difícil. Conflitos de gradiente entre tarefas podem dificultar a otimização conjunta.
3. Escassez de Dados: Em domínios como sistemas de água, os dados rotulados são escassos, e o retreinamento ou ajuste fino (fine-tuning) por meio de simulações é frequentemente inviável devido à falta de conhecimento completo do sistema.

2. Metodologia: T3R

Os autores propõem o T3R (Test-Time Training com Rotograds camada a camada), um novo framework que utiliza a rotação de gradiente para permitir uma adaptação mais profunda em quase toda a arquitetura da GNN sem a necessidade de rótulos de verdade fundamental (ground-truth).

Arquitetura Central

O T3R utiliza uma arquitetura em forma de Y composta por:

• Um codificador compartilhado ($\theta_e$).
• Uma cabeça principal ($\theta_m$) para a tarefa alvo.
• Uma cabeça SSL auxiliar ($\theta_s$) para um objetivo sem rótulos (ex: mascaramento de nós).

Mecanismos Principais

1. Alinhamento de Gradiente e Afinidade de Tarefa:
O método mede a afinidade de tarefa como a similaridade de cosseno entre os vetores de gradiente das cabeças principal e SSL. Um alto alinhamento positivo indica que a minimização de um objetivo também minimiza o outro. Os autores selecionam empiricamente tarefas SSL (especificamente o mascaramento de nós) que exibem o maior alinhamento de gradiente positivo com a tarefa principal.

2. Rotograds camada a camada:
Para mitigar o conflito de gradiente e melhorar a afinidade de tarefa, o T3R integra o Rotograd (Javaloy & Valera, 2022) ao framework de TTT.

• Fase de Treinamento: Matrizes de rotação ortogonais ($R^{(l)}_m, R^{(l)}_s$) são prepostas a cada camada dos decodificadores principal e SSL. Uma perda de rotação ($L_{rot}$) é otimizada ciclicamente para maximizar a similaridade de cosseno entre os gradientes originais e os gradientes rotacionados e específicos da tarefa. Isso incentiva os gradientes de ambas as tarefas a se alinharem em uma direção comum.
• Fase de Teste: Durante a inferência, a perda da tarefa principal não está disponível. O T3R utiliza as matrizes de rotação aprendidas para gerar gradientes substitutos para a tarefa principal. Especificamente, o gradiente SSL é rotacionado de volta em direção à direção média do gradiente original e redirecionado para atualizar as camadas do decodificador principal.
  • Fórmula: $\tilde{g}^{(l+1)}_m = R^{(l)\top}_s g^{(l)}_s R^{(l)}_m$.
  • Este mecanismo permite que toda a arquitetura (codificador compartilhado, decodificador SSL e quase todas as camadas do decodificador principal) seja atualizada, em vez de apenas o codificador.

3. Mudanças de Hiperparâmetros:
Os autores observam que o ajuste de hiperparâmetros durante a fase de teste melhora o desempenho. Especificamente, eles aumentam o coeficiente da perda auxiliar ($\lambda_{test}$) e reduzem a intensidade da aumentação (ex: taxas menores de mascaramento de nós) para amplificar os sinais SSL e evitar falhas em pequenos lotes (batches) de teste.

3. Principais Contribuições

O artigo descreve três contribuições primárias:

1. Método T3R: Uma nova abordagem de adaptação usando matrizes de rotação camada a camada para melhorar a afinidade de tarefa durante o treinamento e gerar gradientes substitutos para uma adaptação profunda em toda a arquitetura durante o tempo de teste.
2. Seleção Empírica de SSL: Uma investigação sobre a seleção de objetivos SSL baseados em grafos que se alinham com as tarefas principais, demonstrando que o alinhamento positivo de gradiente correlaciona-se com uma melhor adaptabilidade.
3. Avaliação Abrangente: Experimentos abrangentes em conjuntos de dados de regressão (redes de distribuição de água) e classificação (grafos moleculares) sob configurações de Out-of-Distribution (OOD) e cross-domain.

4. Resultados Experimentais

Os autores avaliaram o T3R no conjunto de dados DiTEC-WDN (DWD) (regressão) e nos conjuntos de dados Open Graph Benchmark (OGB) (classificação).

Regressão (Redes de Distribuição de Água)

• Desempenho: O T3R alcançou uma melhoria relativa de 38,38% no RMSE em comparação com o ERM (Minimização de Risco Empírico) padrão e superou outras linhas de base de adaptação (Tent, TTT padrão, TTT+Rotograd) em múltiplas métricas (MAE, R2, PCC).
• Observação: O TTT padrão e o TTT+Rotograd (que atualiza apenas o codificador) mostraram ganhos limitados ou desempenho inferior ao ERM nesta configuração, destacando a necessidade de atualizar o decodificador principal.
• Validação Cruzada: Em testes cross-domain (treinando em uma topologia de rede, testando em outra), o T3R com um único passo de adaptação ($t=1$) apresentou os melhores resultados. Uma adaptação mais profunda (mais passos) geralmente degradou o desempenho em tarefas de regressão.

Classificação (Grafos Moleculares)

• Adaptação Cross-Domain: Em experimentos de adaptação entre ogbg-molbace e ogbg-molbbbp, o T3R alcançou melhorias relativas significativas no ROC-AUC, atingindo até 69,56% de melhoria relativa sobre a inferência padrão sem adaptação.
• Comparação: Enquanto outros métodos mostraram melhorias leves ou convergência precoce, o T3R demonstrou ganhos robustos, particularmente quando os passos de adaptação foram cuidadosamente ajustados.

Estudos de Ablação

• Camadas de Rotação: A remoção das camadas de rotação aumentou a incerteza e degradou o desempenho, confirmando a necessidade de adaptação camada a camada.
• Coeficiente de Perda: O ajuste do coeficiente da perda auxiliar de tempo de teste ($\lambda_{test}$) para ser maior que o coeficiente de treinamento melhorou o desempenho da tarefa principal, enquanto valores excessivos levaram à sobre-adaptação.

5. Significância e Alegações

O artigo afirma que o T3R aborda a limitação crítica dos métodos de TTT existentes ao permitir uma adaptação mais profunda através de toda a arquitetura do modelo, não apenas do codificador. Ao utilizar a rotação de gradiente para criar gradientes substitutos, o T3R permite que os modelos se adaptem efetivamente em cenários onde:

• Dados rotulados não estão disponíveis ou são caros para coletar.
• Mudanças de distribuição são frequentes (ex: deriva de sensores em infraestrutura).
• O ajuste fino convencional ou o retreinamento é inviável.

Os autores posicionam o T3R como um passo em direção ao desenvolvimento de pipelines de adaptação sem rótulos robustos para sistemas baseados em grafos em tempo real, particularmente em domínios de infraestrutura crítica, como redes de água. Eles reconhecem que, embora o método seja promissor, a relação entre o alinhamento de gradiente e a adaptabilidade requer maior justificativa teórica, e o custo computacional de atualizações de gradiente adicionais é um compromisso (trade-off) para a melhoria da precisão.