🤖 AI

Entangled by Design: Spurious Intra-Variable Signal Routing in Tabular In-Context Learners

Este artigo revela que aprendizes de contexto (in-context learners) para dados tabulares inevitavelmente direcionam previsões através de sinais espúrios incorporados em características compostas em vez de sinais causais verdadeiros, uma falha que piora com contextos maiores e maior expressividade do modelo, mas que pode ser efetivamente mitigada pela construção de contexto estratificada por ambiente e pela aumentação S-swap.

Autores originais: Athanasios Vlontzos, Giorgos Papanastasiou, Bernhard Kainz, Sotirios Tsaftaris

Publicado 2026-07-29

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Athanasios Vlontzos, Giorgos Papanastasiou, Bernhard Kainz, Sotirios Tsaftaris

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a prever o tempo. Você mostra a ele mil fotos de dias ensolarados e, em cada uma das fotos, o céu é azul. O robô aprende uma regra simples: "Céu azul significa sol". Mas aqui está o detalhe: em suas fotos de treinamento, o céu é sempre azul porque você só tirou fotos durante o dia. Você nunca mostrou ao robô uma única foto de uma noite nublada. O robô não aprendeu que o "sol" causa o "céu azul"; ele apenas aprendeu que "azul" e "sol" aparecem juntos por acaso. Se, mais tarde, você mostrar a ele uma foto de um céu azul à noite (o que é impossível, mas digamos que o robô veja uma tela azul), ele pode ficar confuso. Este é o mundo do Aprendizado de Máquina, especificamente um truque inteligente chamado Aprendizado em Contexto (In-Context Learning). Em vez de retreinar o robô do zero toda vez, você apenas fornece alguns exemplos logo antes de ele fazer um palpite, e ele entende o padrão sobre a marcha. É como entregar a um detetive algumas pistas e dizer: "Resolva este caso", sem nunca alterar o cérebro do detetive. Mas o que acontece se essas pistas forem enganosas? E se as pistas apontarem para um suspeito que é inocente, apenas porque ele estava presente em todas as fotos que você mostrou ao detetive?

Este artigo investiga uma armadilha sorrateira que pode enganar esses robôs inteligentes e flexíveis quando são usados para coisas como prever a recuperação de pacientes em hospitais. Os pesquisadores descobriram que, quando um robô vê uma mistura de informações "reais" (como a saúde real de um paciente) e informações "falsas" (como uma falha nos equipamentos específicos de um hospital), ele frequentemente é enganado. Ele aprende a confiar na falha porque, nos dados de treinamento, a falha aconteceu de coincidir peramente com o resultado. O artigo prova que simplesmente dar ao robô mais exemplos não resolve isso; na verdade, pode torná-lo ainda mais obstinadamente errado. No entanto, os autores também descobriram um truque inteligente e leve para quebrar esse feitiço, permitindo que o robô ignore a falha e foque nos sinais reais de saúde, mesmo sem saber exatamente como a falha se parece.

O Detetive e o Termômetro Quebrado

Vamos mergulhar na história. Imagine um hospital onde um novo sistema de IA é contratado para prever a rapidez com que os pacientes se recuperarão. O sistema recebe dados de um hospital específico. Neste hospital, há um problema oculto: os termômetros estão ligeiramente quebrados. Eles sempre marcam 2 graus acima do que deveriam. Mas aqui está a reviravolta: os pacientes que recebem a leitura de "febre alta" nesses termômetros quebrados também são aqueles que se recuperam rapidamente. Por quê? Porque os termômetros quebrados são usados apenas na ala VIP, e os pacientes VIP recebem melhores cuidados e se recuperam mais rápido.

A IA, sendo uma superinteligente reconhecedora de padrões, olha para os dados e diz: "Aha! Leituras de temperatura alta significam recuperação rápida!". Ela não sabe sobre a ala VIP ou o termômetro quebrado. Ela apenas vê que a Temperatura (S) e a Recuperação (Y) são melhores amigos nos dados que lhe foram dados. Assim, ao fazer uma previsão, ela direciona sua decisão através da leitura da temperatura. Ela pensa: "Vou apostar na temperatura!".

Agora, imagine que esta IA é enviada para um novo hospital. Este novo hospital tem termômetros novos e perfeitos. A ala VIP acabou. A ligação entre "temperatura alta" e "recuperação rápida" foi quebrada. Mas a IA ainda está usando sua regra antiga: "Temperatura alta = Recuperação rápida". Como os novos termômetros são precisos, a IA vê temperaturas normais para pacientes doentes e prevê que eles se recuperarão lentamente, ou vê temperaturas altas para pacientes saudáveis e prevê que eles se recuperarão rápido. Ela falha completamente, e falha silenciosamente, porque não tem como saber que foi enganada pelo termômetro quebrado em primeiro lugar.

O artigo chama isso de "Roteamento Espúrio" (Spurious Routing). A IA está "roteando" sua decisão através de um sinal falso (o termômetro quebrado) em vez do sinal real (a saúde real do paciente).

A Armadilha dos Sinais Compostos

Os pesquisadores perceberam que isso não é apenas sobre termômetros quebrados. Isso acontece sempre que uma única peça de dado é um "pacote" de duas coisas: o Sinal Real (a verdadeira saúde do paciente) e o Sinal Espúrio (a falha do equipamento). No mundo da matemática, eles chamam isso de "representação composta".

O artigo faz uma pergunta importante: Podemos ensinar a IA a ignorar a falha? Os autores testaram dois tipos de detetives de IA:

O Detetive Linear: Uma IA simples, baseada em regras, que faz cálculos básicos (como uma planilha muito inteligente).
TabPFN: Uma IA supercomplexa, de "estado da arte", que é como um detetive gênio que leu todos os livros médicos do mundo.

Eles realizaram milhares de simulações onde controlavam exatamente o quanto a "falha" (S) estava misturada com a "saúde real" (C). Eles descobriram algo surpreendente e um pouco assustador: A IA não consegue corrigir isso sozinha.

Mesmo que você dê à IA mais e mais exemplos do primeiro hospital, ela não fica mais inteligente em relação à falha. Na verdade, o artigo mostra que dar à IA mais contexto (mais exemplos) na verdade a torna mais comprometida com a resposta errada. Se a falha foi ligeiramente útil nos dados de treinamento, a IA irá dobrar a aposta nela. Quanto mais exemplos você mostra a ela, mais ela acredita que a falha é a verdade.

Os autores provaram matematicamente que, enquanto a falha e o resultado estiverem ligados nos dados de treinamento, a IA deve usar a falha. Não é um erro; é uma característica de como esses modelos funcionam. Eles chamam isso de "roteamento espúrio inevitável".

O Truque de Mágica: O "S-Swap"

Então, se a IA está destinada a ser enganada, há alguma esperança? Os autores dizem que sim, e encontraram uma solução que é surpreendentemente simples. Eles a chamam de "aumento S-swap" (S-swap augmentation).

Imagine que você é o detetive novamente. Você tem uma pilha de arquivos de casos. Em cada arquivo, há uma leitura de temperatura e um tempo de recuperação. Os arquivos são todos da ala VIP com os termômetros quebrados.
O truque "S-swap" é o seguinte: Você pega a leitura de temperatura do Arquivo A e a troca pela leitura de temperatura do Arquivo B, mas mantém o tempo de recuperação igual.

Arquivo A: "Termômetro Quebrado diz 40°C, Paciente recuperou rápido."
Arquivo B: "Termômetro Quebrado diz 36°C, Paciente recuperou lento."

Você troca as temperaturas:

Arquivo A (Modificado): "Termômetro Quebrado diz 36°C, Paciente recuperou rápido."
Arquivo B (Modificado): "Termômetro Quebrado diz 40°C, Paciente recuperou lento."

Agora, observe o padrão. A temperatura não prevê mais a recuperação! A temperatura alta agora está pareada com uma recuperação lenta, e a temperatura baixa está pareada com uma recuperação rápida. A ligação foi quebrada. A IA olha para esses novos dados trocados e percebe: "Espere um minuto. A temperatura não importa nada! É apenas ruído".

O artigo mostra que este truque funciona incrivelmente bem.

Para o Detetive Linear simples, ele reduziu a dependência da falha em 74%.
Para o superinteligente TabPFN, ele reduziu a dependência em impressionantes 98,8%.

Melhor ainda, a IA não ficou apenas "confusa" ou "desistiu". Ela começou a prestar atenção no sinal de saúde real. O artigo descobriu que a sensibilidade da IA à causa real aumentou 8,4 vezes. Ela não parou de aprender; ela apenas aprendeu a coisa certa.

Por Que Isso Importa

Os pesquisadores testaram isso em dados do mundo real também, usando um conjunto de dados de células de pâncreas humano de diferentes laboratórios. Mesmo sem saber exatamente quais partes dos dados eram a "falha" e quais eram a "biologia real", eles puderam estimar a falha apenas observando como os dados variavam entre os laboratórios. Quando aplicaram o truque S-swap, a dependência da IA em relação aos erros específicos de cada laboratório caiu quase 89%.

O artigo conclui que não precisamos reconstruir esses poderosos modelos de IA ou ensinar regras complexas novas. Só precisamos ser mais espertos sobre os exemplos que mostramos a eles. Ao trocar as partes "com falhas" dos dados antes que a IA faça um palpite, podemos enganar a IA para que ela ignore os sinais falsos e foque na verdade.

É um lembrete de que, no mundo da IA, às vezes o mais inteligente que você pode fazer não é dar mais dados ao robô, mas sim rearranjar os dados que você já tem para que o robô não consiga evitar ver a verdade. O artigo prova que, embora esses modelos sejam poderosos, eles também são vulneráveis ao "roteamento espúrio", mas com um pouco de mistura inteligente de dados, podemos guiá-los de volta ao caminho certo.

Resumo Técnico: Entangled by Design: Spurious Intra-Variable Signal Routing in Tabular In-Context Learners

Declaração do Problema

O artigo aborda um modo de falha crítico em Aprendizado em Contexto (In-Context Learning - ICL) para dados tabulares, especificamente quando os modelos são implantados em ambientes heterogêneos (por exemplo, diferentes hospitais ou lotes experimentais). O problema central é o roteamento espúrio de sinal intra-variável (spurious intra-variable signal routing).

Em muitos cenários do mundo real, um vetor de características observado $X$ é um composto de um sinal causal verdadeiro $C$ (ex: saúde do paciente) e um sinal espúrio $S$ (ex: artefatos de equipamento ou efeitos de lote), frequentemente emaranhados dentro do mesmo espaço de características ou em subespaços distintos: $X = [C; \alpha S; \eta]$ . Dentro de um único ambiente, um confundidor não observado $U$ (ex: demografia do paciente) pode impulsionar tanto o sinal espúrio $S$ quanto o resultado $Y$ , criando uma correlação in-context não nula $\text{Corr}(S, Y) \neq 0$ .

Modelos de ICL padrão, como o TabPFN ou estimadores de regressão ridge lineares, observam apenas os exemplos de contexto. Eles racionalmente aprendem a rotear as predições através de $S$ porque $S$ é preditivo dentro do contexto, embora $S$ seja não-causal. Quando implantado em um novo ambiente onde a relação entre $S$ e $Y$ muda (devido a equipamentos diferentes ou fatores específicos do local), o modelo falha silenciosamente. Isso difere dos problemas tradicionais de correlação espúria entre variáveis distintas, pois os sinais causais e espúrios estão frequentemente emaranhados dentro de um único vetor de características observado ou de representações compostas distintas, tornando-os indistinguíveis via estatísticas in-context padrão.

Metodologia

Estrutura Teórica

Os autores formalizam o cenário usando um Modelo Causal Estrutural (SCM) onde:

Sinal Causal ( $C$ ): Invariante entre ambientes.
Sinal Espúrio ( $S$ ): Correlacionado com $Y$ apenas via um confundidor compartilhado $U$ dentro de um ambiente.
Observação Composta: $X = [C; \alpha S; \eta]$ , onde $\alpha$ controla a força do emaranhamento.

O artigo introduz a Razão de Sensibilidade Causal (CSR) como uma métrica diagnóstica para quantificar o comportamento de roteamento:
$\text{CSR}(w) := \frac{\mathbb{E}[|w_S \alpha \Delta S|]}{\mathbb{E}[|w_C \Delta C|]}$
onde $\Delta S$ e $\Delta C$ representam perturbações (trocas) dos componentes espúrio e causal, respectivamente.

$\text{CSR} \approx 0$ : O modelo roteia através do sinal causal.
$\text{CSR} > 1$ : O modelo é mais sensível ao sinal espúrio do que ao causal (regime de falha).

Análise Teórica

Os autores derivam uma caracterização de forma fechada para a CSR populacional sob ICL de ridge (aprendizado em contexto linear):
$\text{CSR}_{\text{pop}} = \underbrace{\frac{\alpha^2}{\alpha^2 + \lambda}}_{\text{emaranhamento}} \cdot \underbrace{\frac{\rho_S}{\rho_C}}_{\text{razão de sinal}} \cdot \underbrace{(1 + \lambda)\kappa(\delta)}_{\text{constante de protocolo}}$
Principais achados teóricos incluem:

Inevitabilidade: Sob confusão in-context ( $\rho_S \neq 0$ ), o roteamento espúrio é inevitável para qualquer força de regularização $\lambda > 0$ .
Tamanho do Contexto: Tamanhos maiores de contexto não resolvem o problema; em regimes de alta espuridade, eles podem amplificar o compromisso com o sinal espúrio em até $1,74\times$ .
Identificabilidade: O roteamento é inidentificável se $C$ e $S$ compartilharem uma única coordenada escalar ( $D=1$ ); subespaços distintos são necessários para o diagnóstico.

Estratégias de Mitigação

O artigo propõe duas intervenções leves e agnósticas ao modelo que operam no nível da construção do contexto, exigindo apenas rótulos fracos de ambiente (ex: IDs de lote) e sem conhecimento da partição causal:

Construção de Contexto Estratificada por Ambiente: Amostragem de exemplos de contexto de diferentes ambientes para misturar distribuições de $S$ enquanto mantém níveis de $Y$ constantes, reduzindo a $\text{Corr}(S, Y)$ in-context.
Aumento por S-swap: Para cada ponto de contexto $(X_i, Y_i)$ , uma cópia pareada $(\tilde{X}_i, Y_i)$ é adicionada onde as dimensões espúrias de $X_i$ são substituídas pelas de um ambiente diferente. Isso sinaliza ao modelo, ao nível do ponto, que $S$ não prediz $Y$ .

Resultados Principais

Validação Empírica

Os autores validaram sua teoria tanto em ICL linear (regressão ridge) quanto no TabPFN (um transformador tabular pré-treinado de última geração) usando um modelo causal estrutural controlado.

Correlação com a Teoria: A CSR empírica correlaciona-se fortemente com o preditor teórico $\hat{\rho}_S / \hat{\rho}_C$ ( $r=0,997$ para ICL linear, $r=0,979$ para TabPFN).
Efeitos de Amplificação:
- Aumentar o tamanho do contexto ( $n$ ) de 16 para 512 amplificou o roteamento espúrio em $1,74\times$ em regimes de alta espuridade.
- Modelos mais expressivos (TabPFN) mostraram maior vulnerabilidade do que o ICL linear em cantos de alto emaranhamento (uma lacuna de $+2,22$ na CSR), embora fossem mais responsivos às mitigações.
Robustez: As previsões teóricas mantiveram-se mesmo com sobreposição de subespaços (rotação de até $40^\circ$ ), com a correlação caindo apenas ligeiramente ( $r \geq 0,93$ ).

Desempenho da Mitigação

ICL Linear: O S-swap reduziu a CSR em 74% e melhorou o RMSE Out-of-Distribution (OOD) em 34,2%.
TabPFN: O S-swap reduziu a CSR em 98,8% (de 5,777 para 0,067). Crucialmente, o modelo não se tornou agnóstico; ele rerouteou através do sinal causal, aumentando a sensibilidade causal em 8,4 $\times$ .
Validação no Mundo Real: No dataset scIB pancreas (genômica de célula única), o S-swap reduziu a CSR em 88,9% usando apenas subespaços espúrios estimados derivados da estrutura de lote, confirmando a aplicabilidade sem necessidade de rótulos causais de verdade fundamental (ground-truth).

Significância e Alegações

O artigo afirma identificar e formalizar um modo de falha específico do aprendizado em contexto que é distinto das correlações espúrias entre variáveis. Suas principais contribuições são:

Prova Teórica de Impossibilidade: Demonstrar que a regularização padrão não pode eliminar o roteamento espúrio em representações compostas quando existe confusão in-context.
Métrica Diagnóstica: Introduzir a CSR como um diagnóstico robusto baseado em perturbação, que quantifica o comportamento de roteamento mesmo quando as partições causais são latentes.
Solução Agnóstica ao Modelo: Propor o aumento S-swap, uma intervenção ao nível do contexto que força efetivamente os modelos de ICL a ignorar sinais espúrios e confiar em sinais causais sem exigir retreinamento do modelo, mudanças arquitetônicas ou acesso à partição causal.
Paradoxo da Expressividade: Destacar que, embora modelos mais expressivos (como o TabPFN) sejam mais vulneráveis ao roteamento espúrio em regimes de alta espuridade, sua capacidade também permite que respondam de forma mais dramática a sinais de invariância (como o S-swap), levando a uma recuperação superior em comparação com as linhas de base lineares.

Os autores posicionam este trabalho como uma correção necessária para a implantação de ICL em domínios científicos e biomédicos, onde a heterogeneidade de dados é a norma e as falhas silenciosas devido ao deslocamento de dados (dataset shift) são riscos críticos.