💻 computer science

Learning Causal Orderings for In-Context Tabular Prediction

O artigo apresenta o TabOrder, um modelo inovador que aprende ordenações causais de variáveis não supervisionadas para restringir mecanismos de atenção em previsões tabulares, melhorando assim a robustez sob deslocamentos de distribuição e intervenções, ao mesmo tempo em que aborda simultaneamente tarefas de previsão e imputação.

Autores originais: Sascha Xu, Sarah Mameche, Jilles Vreeken

Publicado 2026-05-22

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sascha Xu, Sarah Mameche, Jilles Vreeken

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: Correlação vs. Causalidade

Imagine que você é um chef tentando prever como um bolo vai ficar. Você tem um livro de receitas massivo (um conjunto de dados) com milhares de receitas.

A maioria dos chefs modernos de IA (chamados Modelos Fundamentais Tabulares) é incrivelmente boa em olhar para o seu livro de receitas e dizer: "Se eu vejo farinha e ovos, aposto que o bolo ficará doce". Eles são ótimos em identificar padrões (correlações).

No entanto, eles não entendem causa e efeito. Eles não sabem que você deve misturar a farinha antes de adicionar a água. Se você mudar repentinamente a receita (uma intervenção) — digamos, você para de usar ovos, mas mantém a farinha — a IA pode ficar confusa porque ela apenas aprendeu que "farinha e ovos geralmente vão juntos", e não que a ordem da mistura importa. Se as regras da cozinha mudarem, as previsões da IA quebram.

A Solução: TABORDER

Os autores introduzem um novo modelo de IA chamado TABORDER. Pense no TABORDER não apenas como um chef, mas como um chef que também aprende a linha do tempo da cozinha.

Em vez de apenas olhar para os ingredientes, o TABORDER pergunta: "Qual ingrediente vem primeiro? Qual deles faz o próximo acontecer?"

Ele constrói um mapa mental da Ordem Causal. Ele aprende que:

Você deve comprar os ovos primeiro.
Depois você os quebra.
Depois você os mistura.

Ao entender essa sequência, o TABORDER ainda pode prever o sabor do bolo mesmo se você mudar a receita mais tarde, porque ele conhece as regras fundamentais de como os ingredientes interagem, e não apenas como eles geralmente aparecem juntos.

Como Funciona: O Sistema de "Semáforo"

O artigo descreve uma maneira inteligente pela qual o modelo aprende essa ordem sem um professor dizendo a resposta (aprendizado não supervisionado).

Imagine uma fila de pessoas esperando para entrar em um clube.

IA Padrão: Deixa todos olharem para todos os outros para decidir quem entra. É caótico e depende de quem está ao lado de quem.
TABORDER: Atribui a todos uma "pontuação" secreta (como um número VIP).
- Se a Pessoa A tiver uma pontuação menor que a Pessoa B, a Pessoa A pode olhar para a Pessoa B.
- Mas a Pessoa B não pode olhar para a Pessoa A.

Isso cria uma rua de mão única. O modelo força os dados a fluírem em uma direção específica. Se o modelo adivinhar a ordem errada (por exemplo, deixar a "sobremesa" olhar para a "entrada"), a matemática não fecha, e a previsão fica bagunçada. O modelo aprende a corrigir suas próprias pontuações para fazer a matemática funcionar perfeitamente.

Lidando com Dados Faltantes: O Truque do "Ingrediente Faltante"

Dados do mundo real são bagunçados; às vezes ingredientes faltam no cartão de receita.

IA Antiga: Pode adivinhar o ingrediente faltante com base no que está por perto, mas se os ingredientes próximos também estiverem faltando, ela fica confusa.
TABORDER: Tem uma regra especial: "Se uma 'causa' (um ingrediente anterior) está faltando, eu ficarei mais incerto sobre o 'efeito' (o ingrediente posterior)."

O artigo mostra que essa incerteza realmente ajuda a IA a descobrir a ordem correta. Se a IA tentar adivinhar que "Sobremesa" causa "Entrada", mas a "Entrada" estiver faltando, a matemática quebra. Mas se ela adivinhar que "Entrada" causa "Sobremesa", e a "Entrada" estiver faltando, o modelo sabe exatamente quanto de incerteza adicionar. Esse "sinal de incerteza" age como uma bússola, guiando o modelo para a linha do tempo correta.

O Que Eles Encontraram (Os Resultados)

Os autores testaram o TABORDER de duas maneiras principais:

Testes Sintéticos (A Simulação): Eles criaram mundos falsos com regras conhecidas (como um videogame). O TABORDER conseguiu descobrir a linha do tempo correta dos eventos quase tão bem quanto ferramentas especializadas projetadas apenas para isso, mas fez isso enquanto também previa os resultados.
Testes do Mundo Real (O Laboratório de Biologia): Eles usaram um conjunto de dados famoso sobre sinalização celular (como as células conversam entre si).
- O Resultado: Quando eles "intervieram" (simulando um medicamento que para uma proteína específica), o TABORDER continuou funcionando bem. Outros modelos falharam porque dependiam dos antigos padrões que não existiam mais.
- A Lição: O TABORDER também pôde detectar onde a intervenção aconteceu. Se eles bloquearam uma proteína "hub" (um líder central), a compreensão do modelo de toda a linha do tempo mudou. Se eles bloquearam uma proteína menor, apenas aquela parte específica da linha do tempo mudou. Isso corresponde ao que os biólogos sabem sobre como as células funcionam.

A Conclusão

O TABORDER é um novo tipo de IA para dados tabulares (planilhas) que aprende sequências de causa e efeito por conta própria.

Por que importa: Ele não apenas memoriza padrões; ele aprende as "regras do jogo".
O Benefício: Quando o mundo muda (mudança de distribuição) ou quando intervenimos (como em um teste de medicamento), o TABORDER não quebra. Ele permanece robusto porque entende a ordem subjacente das coisas, e não apenas as conexões superficiais.

Ele preenche a lacuna entre "correspondentes de padrões inteligentes" e "raciocinadores causais lógicos", tornando as previsões de IA mais seguras e confiáveis em ambientes em mudança.

Resumo Técnico: Aprendizado de Ordenações Causais para Previsão Tabular em Contexto

1. Declaração do Problema

Arquiteturas de aprendizado em contexto, como Modelos Fundacionais Tabulares (TFMs), alcançaram forte desempenho preditivo em dados tabulares ao aproveitar o pré-treinamento em larga escala. No entanto, esses modelos são primariamente associativos; eles dependem de estruturas correlacionais em vez de direcionalidade causal explícita. Consequentemente, suas previsões podem ser pouco confiáveis sob deslocamentos de distribuição ou intervenções, pois podem explorar associações estatísticas não causais que não generalizam.

Embora existam métodos estabelecidos de descoberta causal para recuperar Grafos Acíclicos Dirigidos (DAGs), eles são frequentemente específicos de conjunto de dados, computacionalmente intensivos e desacoplados de arquiteturas preditivas modernas. Por outro lado, abordagens recentes de descoberta causal amortizada dependem de treinamento supervisionado sobre grafos sintéticos, exigindo rótulos causais verdadeiros. Há uma lacuna na integração sistemática da descoberta de estrutura causal em arquiteturas preditivas em um framework de aprendizado em contexto não supervisionado, capaz de lidar com dados ausentes e intervenções.

2. Metodologia: TABORDER

Os autores propõem o TABORDER, uma arquitetura baseada em transformador projetada para inferir simultaneamente ordenações de variáveis causais e realizar previsões robustas. A inovação central é o uso de atenção restrita por ordem causal.

Design da Arquitetura

O TABORDER opera como um sistema de duplo transformador que processa um conjunto de dados $D$ com entradas ausentes indicadas por uma máscara $M$ :

Embedding: Cada célula $x_i^{(r)}$ e seu indicador de ausência são incorporados em uma representação vetorial.
Ramo de Inferência de Ordem: Um transformador padrão de atenção multi-cabeça processa os embeddings para inferir uma pontuação escalar $s_i$ para cada variável $X_i$ . Pontuações mais baixas indicam uma posição anterior na ordem causal. Essas pontuações são médias entre as linhas para produzir uma ordenação global $\hat{\pi}$ .
Ramo de Previsão Restrita por Ordem: Um segundo transformador modela a distribuição condicional de cada célula. Crucialmente, sua atenção por coluna é restrita por uma máscara derivada das pontuações aprendidas $s$ . Especificamente, a variável $X_i$ pode atender apenas às variáveis $X_j$ onde $s_j \leq s_i$ . Isso impõe uma fatoração ordenada da distribuição conjunta:
$p_\theta(x^{(r)} | D, \pi) = \prod_{k=1}^d p_\theta(x_{\pi(k)}^{(r)} | x_{\pi(1:k-1)}^{(r)}, D)$
Isso impede que o modelo utilize características "anti-causais" (causas futuras) para prever um alvo, reduzindo assim a sensibilidade a correlações espúrias.

Lidando com Dados Ausentes e Incerteza

O modelo contabiliza explicitamente a ausência em pais causais. Sob uma suposição de Modelo de Ruído Aditivo (ANM) ( $X_i = f(X_{pa(i)}) + N_i$ ), o modelo decodifica uma média condicional $\hat{\mu}$ e variância $\hat{\sigma}^2$ .

Incremento de Variância: Se um pai causal estiver ausente, o modelo aumenta a variância preditiva para a variável alvo em uma quantidade aprendível $\delta_{i,j}$ . Isso captura o aumento da incerteza quando entradas relevantes não são observadas.
Objetivo de Treinamento: O modelo é treinado de ponta a ponta maximizando a verossimilhança das entradas mascaradas. O objetivo acopla aprendizado de ordem e previsão: ordenações que explicam melhor os dados mascarados (minimizando a variância residual) recebem maior verossimilhança.

Justificativa Teórica

Os autores justificam a abordagem baseada em verossimilhança sob o framework do Modelo de Ruído Aditivo (ANM). Eles demonstram que, para modelos causais aditivos, a ordem ótima de verossimilhança é consistente com a ordenação topológica do DAG subjacente verdadeiro. Além disso, eles provam um teorema sobre assimetria de verossimilhança consciente da ausência: contabilizar a ausência via incrementos de variância amplifica a lacuna de verossimilhança entre a direção causal correta e as direções incorretas, facilitando a identificação de ordens causais mesmo na presença de dados ausentes.

3. Contribuições Principais

Integração de Descoberta Causal e Previsão: O TABORDER preenche a lacuna entre aprendizado de estrutura causal e previsão tabular em contexto, inferindo ordenações causais de forma não supervisionada dentro de um framework de transformador preditivo.
Atenção Restrita por Ordem: A introdução de uma máscara de atenção diferenciável e aprendida que restringe o fluxo de informação para preceder variáveis em uma ordem causal aprendida, garantindo que as previsões dependam apenas de potenciais causas.
Aprendizado Causal Consciente da Ausência: O design de um mecanismo onde a ausência em pais causais aumenta explicitamente a variância preditiva, o que teórica e empiricamente auxilia na distinção de direções causais.
Aprendizado Não Supervisionado: Diferentemente de métodos de descoberta causal amortizada, o TABORDER não requer grafos causais verdadeiros durante o treinamento; ele aprende ordenações ótimas exclusivamente através da maximização da verossimilhança em dados mascarados.

4. Resultados Experimentais

Os autores avaliam o TABORDER em dados sintéticos com estruturas causais conhecidas e benchmarks do mundo real.

Inferência de Ordem Causal: Em dados sintéticos gerados a partir de ANMs não lineares de processos gaussianos, o TABORDER alcança uma divergência topológica ( $d_{TOP}$ ) comparável a algoritmos especializados de descoberta causal (como CAM, SCORE, NOTEARS), mas infere ordens em tempo quase instantâneo via uma única passagem direta. No conjunto de dados real de sinalização de proteínas Sachs, o TABORDER descobre ordens causais com baixa divergência ( $d_{TOP} \approx 0.21$ ) em comparação com o grafo de consenso, superando outras linhas de base.
Desempenho Preditivo e Imputação: Em tarefas de imputação de valores ausentes (benchmarks OpenML CC18 e CTR23), o TABORDER alcança desempenho competitivo, particularmente em altas taxas de ausência ( $\geq 40\%$ ), superando métodos padrão como KNN, MICE e GAIN.
Robustez a Intervenções: Em uma cadeia de três variáveis ( $X \to Y \to Z$ ) com uma intervenção no mecanismo $Y \to Z$ , o TABORDER mantém a previsão precisa do mediador $Y$ dado $X$ e $Z$ . Em contraste, TFMs padrão (como TABPFN) e XGBoost degradam-se significativamente, pois dependem da associação não causal quebrada entre $Y$ e $Z$ .
Insights Biológicos: No conjunto de dados Sachs sob várias condições intervencionais, o TABORDER infere ordenações que refletem reorganizações biologicamente plausíveis. Por exemplo, intervenções a montante (como inibição de PKC) causam mudanças globais na ordem inferida, enquanto intervenções a jusante causam mudanças localizadas, alinhando-se com a dinâmica conhecida das vias de sinalização.

5. Significado e Alegações

O artigo afirma que o TABORDER fornece uma abordagem principista para tornar o aprendizado em contexto para dados tabulares mais robusto a deslocamentos de distribuição e intervenções, modelando explicitamente a direcionalidade causal.

Robustez: Ao impor que as previsões dependam apenas de predecessores em uma ordem causal aprendida, o modelo evita explorar correlações espúrias que falham sob intervenção.
Eficiência: Diferentemente da descoberta causal clássica, que resolve problemas de otimização por conjunto de dados, o TABORDER infere estrutura de forma eficiente dentro de uma única passagem direta, tornando-o escalável para tarefas downstream.
Fundamentação Teórica: O trabalho estabelece que a maximização da verossimilhança na presença de dados ausentes pode servir como um proxy para descoberta causal sob suposições padrão de ANM, fornecendo uma base teórica para aprendizado de ordem não supervisionado.

Os autores reconhecem limitações, observando que a implementação atual foca em ordenações topológicas em vez de DAGs completos e assume características de valor real. Eles sugerem que, embora o método seja robusto, as estruturas inferidas são hipóteses que exigem validação de domínio, e trabalhos futuros poderiam explorar priores de treinamento mais ricos e dados de tipos mistos.