Resumo Técnico: Treinamento no Momento do Teste para Aprendizado Causal Supervisionado (TTT-SCL)

1. Declaração do Problema

O Aprendizado Causal Supervisionado (SCL) surgiu como uma alternativa promissora à descoberta causal não supervisionada tradicional, enquadrando a tarefa como um problema de aprendizado supervisionado. No SCL padrão, um modelo é pré-treinado em um grande conjunto de dados estático de instâncias causais sintéticas (compostas por grafos causais e seus conjuntos de dados amostrados correspondentes) para aprender uma mapeamento de dados observacionais para estruturas causais.

No entanto, este artigo identifica que as práticas atuais de SCL sofrem com desafios significativos de generalização fora da distribuição (OOD), limitando sua aplicabilidade no mundo real. Os autores revelam três limitações específicas do paradigma de pré-treinamento estático:

1. Lacuna Sintético-Real: O desempenho forte em benchmarks sintéticos não se traduz para dados do mundo real (por exemplo, o conjunto de dados de proteínas Sachs).
2. Fragilidade a Deslocamentos de Distribuição: Os modelos degradam-se significativamente quando as instâncias de teste diferem dos dados de treinamento em estrutura de grafo, mecanismos causais ou distribuições de ruído.
3. Falha na Generalização Composicional: Mesmo quando treinados em todos os componentes individuais (por exemplo, todos os tipos de mecanismos, tipos de grafos e distribuições de ruído separadamente), os modelos falham em generalizar para combinações novas desses componentes vistas apenas no momento do teste.

O problema central é que o pré-treinamento estático voltado para a diversidade não consegue adaptar-se à distribuição específica de uma instância de teste dada, levando a uma baixa robustez em cenários realistas.

2. Metodologia: TTT-SCL

Para abordar essas limitações, os autores propõem o Treinamento no Momento do Teste para Aprendizado Causal Supervisionado (TTT-SCL). Em vez de confiar em um único modelo pré-treinado fixo, o TTT-SCL gera dinamicamente um conjunto de treinamento personalizado no momento do teste que está explicitamente alinhado com a instância de teste específica ($D_{test}$).

Fluxo de Trabalho Principal

O framework opera em três etapas principais:

1. Geração de Conjunto de Treinamento Alinhado Causalmente:

   • Função de Pontuação: O método utiliza uma função de pontuação $score(G, D_{test}) = AD(G, D_{test}) - \|A_G\|_0$, onde $AD$ (Alinhamento de Distribuição) mede a média da verossimilhança logarítmica das variáveis sob mecanismos induzidos pelo grafo $G$, e $\|A_G\|_0$ penaliza a complexidade do grafo (esparsidade).
   • Mecanismo Induzido por Estrutura (SIM): Para um grafo candidato, o SIM ajusta os mecanismos causais e as distribuições de ruído diretamente em $D_{test}$ via regressão. Isso permite a avaliação da verossimilhança e a geração de dados sintéticos que correspondem à distribuição de teste.
   • Refinamento Estocástico de Grafos: Como a busca exaustiva por DAG é intratável, o método começa com um grafo inicial (por exemplo, de PC ou NOTEARS) e realiza um refinamento estocástico iterativo. Ele propõe modificações locais (adições, deleções e reversões de arestas) e as aceita com base em uma probabilidade proporcional à melhoria da pontuação.
   • Síntese de Dados: Os $K$ grafos de alta pontuação encontrados durante o refinamento são usados para gerar um conjunto de treinamento sintético. Para cada grafo $G_k$, os mecanismos são regredidos em $D_{test}$, e um conjunto de dados sintético $D_k$ é amostrado para frente. O conjunto de treinamento final consiste em pares $\{(D_k, G_k)\}$.

2. Treinamento no Momento do Teste:

   • Um modelo de aprendizado causal supervisionado (por exemplo, AVICI) é treinado do zero neste conjunto de dados dinamicamente gerado e específico para o teste.
   • O modelo treinado é então usado para inferir o grafo causal para $D_{test}$.

3. Conexão Teórica:

   • O artigo estabelece que os métodos clássicos de descoberta causal baseada em pontuação são um caso especial de TTT-SCL. Se o preditor supervisionado for um classificador de 1-vizinho mais próximo baseado na pontuação, o TTT-SCL colapsa para a seleção do único grafo de maior pontuação. O TTT-SCL generaliza isso ao usar a coleção de grafos de alta pontuação para treinar um modelo que pode explorar padrões mais ricos e lidar melhor com a incerteza de amostras finitas do que uma única estimativa pontual.

3. Contribuições Principais

• Identificação de Limitações: Os autores demonstram sistematicamente que o pré-treinamento estático de SCL falha em três áreas críticas: transferência sintético-real, robustez a deslocamentos de distribuição e generalização composicional.
• Framework TTT-SCL: Eles introduzem um framework inovador que muda o paradigma de "diversidade" (pré-treinamento estático) para "concentração" (adaptação dinâmica no momento do teste).
• Unificação Teórica: O trabalho fornece uma base teórica que conecta o TTT-SCL a métodos baseados em pontuação, mostrando que a seleção baseada em pontuação é uma configuração restrita do framework proposto.
• Módulo de Geração Eficiente: Um módulo prático é projetado para gerar eficientemente conjuntos de treinamento alinhados causalmente usando refinamento estocástico guiado por pontuação e SIM.

4. Resultados Experimentais

Experimentos foram conduzidos em benchmarks sintéticos, dados pseudo-reais (SynTReN) e dados do mundo real (conjunto de dados Sachs).

• Desempenho em Dados do Mundo Real: Embora a forte linha de base pré-treinada AVICI (scm-v0) tenha alcançado uma alta AUROC (97,8) em dados sintéticos que correspondiam à sua distribuição de treinamento, ela caiu significativamente no conjunto de dados real do mundo Sachs (62,3). Em contraste, o TTT-SCL (usando inicialização NOTEARS) alcançou 78,9 AUROC em Sachs, superando significativamente tanto a linha de base SCL pré-treinada quanto métodos tradicionais como PC (67,1).
• Robustez a Deslocamentos: O TTT-SCL manteve desempenho de última geração em vários deslocamentos de distribuição (mecanismo, grafo e ruído) e testes de generalização composicional onde modelos estáticos falharam.
• Estudos de Ablação:
  • Remover a penalidade de esparsidade da função de pontuação levou a uma queda consistente de desempenho, confirmando a necessidade de penalizar a complexidade do grafo.
  • Usar uma "semente inteligente" (NOTEARS) superou uma semente aleatória, mas aumentar o orçamento de busca permitiu que a variante de semente aleatória se aproximasse do desempenho da semente inteligente, indicando que a própria busca estocástica é robusta.
• Comparação com Métodos Baseados em Pontuação: Uma análise por etapas mostrou que a saída final do TTT-SCL (modelo treinado) superou consistentemente o grafo de maior pontuação encontrado durante a busca, validando o valor agregado da fase de aprendizado supervisionado sobre a maximização pura de pontuação.

5. Significado e Alegações

O artigo afirma que o TTT-SCL representa uma mudança de paradigma no aprendizado causal supervisionado. Ao afastar-se do pré-treinamento estático voltado para a diversidade em direção à adaptação dinâmica no momento do teste, o método aborda os desafios fundamentais de generalização OOD que têm impedido a utilidade prática do SCL.

Os autores afirmam que o TTT-SCL:

• Conecta com sucesso a lacuna entre benchmarks sintéticos e dados do mundo real.
• Fornece uma solução robusta para descoberta causal sob deslocamentos de distribuição e requisitos de generalização composicional.
• Oferece um framework flexível que pode acomodar diferentes designs de pontuação e arquiteturas de modelo, enquanto herda as garantias teóricas das funções de pontuação subjacentes.

O trabalho conclui que a descoberta causal robusta em cenários do mundo real requer adaptação dinâmica à instância de teste específica, uma capacidade que o TTT-SCL fornece através de seu mecanismo de treinamento no momento do teste.