🤖 machine learning

Do Tabular Foundation Models Agree with Themselves?

Este artigo revela que os Modelos de Fundação Tabulares (TFMs) falham em produzir distribuições conjuntas fiéis porque violam tanto os requisitos de consistência de marginalização quanto os de fatoração em todos os conjuntos de dados e tarefas avaliados.

Autores originais: Christian Klötergens, Vijaya Krishna Yalavarthi, Lars Schmidt-Thieme, Tom Hanika

Publicado 2026-08-07

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Christian Klötergens, Vijaya Krishna Yalavarthi, Lars Schmidt-Thieme, Tom Hanika

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério, mas em vez de procurar pistas em uma cena de crime, você está procurando pistas em uma planilha gigante. Este é o mundo dos Modelos de Fundação Tabulares, uma área nova e quente da inteligência artificial onde os computadores aprendem a prever coisas com base em linhas e colunas de dados, como prever se um empréstimo será pago ou qual poderá ser o preço de uma casa. Esses modelos são construídos sobre uma ideia inteligente chamada inferência bayesiana, que é basicamente uma maneira sofisticada de dizer: "Vamos atualizar nossas crenças com base em novas evidências". Pense nisso como um previsão do tempo que começa com um palpite geral sobre chuva, mas assim que vê nuvens escuras, atualiza sua previsão para dizer: "Ok, definitivamente vai chover".

Por muito tempo, os cientistas esperaram que esses modelos de IA fossem "previsores do tempo" perfeitos para os dados. Eles acreditavam que, se você pedisse ao modelo para prever uma coisa e, depois, usasse essa previsão para adivinhar outra, toda a história que ele contasse se encaixaria perfeitamente, assim como um romance bem escrito onde cada capítulo se conecta logicamente ao próximo. Mas aqui está o detalhe: no mundo real, muitas vezes não sabemos a resposta "verdadeira" para conferir. É como tentar corrigir a redação de um aluno sem ter o gabarito. Assim, em vez de perguntar "Este modelo está certo?", um grupo de pesquisadores fez uma pergunta mais simples e complicada: "Este modelo sequer conta uma história consistente para si mesmo?". Eles queriam saber se a IA estava apenas inventando números aleatórios que por acaso pareciam bons, ou se ela estava realmente seguindo as regras estritas de lógica e probabilidade.

O artigo que você está prestes a ouvir, intitulado "Do Tabular Foundation Models Agree with Themselves?" (Os Modelos de Fundação Tabulares Concordam Consigo Mesmos?), mergulha direto neste mistério. Os pesquisadores, liderados por Christian Klötergens e sua equipe, decidiram submeter os modelos de IA mais populares para dados tabulares (como TabPFN, TabICL e TabFM) a um "teste de lógica" rigoroso. Eles não apenas pediram ao modelo para prever; eles pediram que contassem a mesma história de duas maneiras diferentes e verificaram se as histórias batiam.

Imagine que você está tentando adivinhar o sabor de um smoothie misterioso.

Teste 1 (Consistência de Marginalização): Você pergunta à IA: "Qual é o sabor deste smoothie?". Então, você pergunta: "Se o smoothie for vermelho, qual é o sabor? E se for azul, qual é o sabor?". Finalmente, você mistura essas duas respostas com base na probabilidade de o smoothie ser vermelho ou azul. Se a IA for consistente, essa resposta "misturada" deve ser exatamente a mesma que a primeira resposta direta.
Teste 2 (Consistência de Fatoração): Você pede à IA para contar a história dos ingredientes do smoothie em duas ordens diferentes. Primeiro, ela adivinha a fruta, depois o adoçante. Segundo, ela adivinha o adoçante, depois a fruta. Se a IA realmente entende os dados, a imagem final do smoothie deve ser idêntica, não importa qual ingrediente ela adivinhou primeiro.

Os pesquisadores aplicaram esses testes em uma grande variedade de conjuntos de dados do mundo real, desde classificações de qualidade de vinho até preços de carros e registros médicos. Eles usaram uma régua matemática chamada Distância de Variação Total para medir o quão distantes estavam as respostas. Uma pontuação de 0 significa que o modelo é perfeitamente consistente; uma pontuação mais alta significa que ele está se contradizendo.

Os resultados foram um choque. Todos os modelos testados falharam em ambos os testes. Em cada conjunto de dados, tanto para perguntas simples de sim/não (classificação) quanto para perguntas de previsão de números (regressão), os modelos deram respostas diferentes dependendo de como a pergunta era feita. É como se a IA dissesse que o smoothie era de "morango" quando perguntada diretamente, mas, quando perguntada sobre a cor primeiro, ela de repente decidisse que era de "mirtilo", mesmo que a cor fosse a mesma.

O artigo descobriu que, embora alguns modelos fossem ligeiramente melhores em contar uma história consistente do que outros (por exemplo, um modelo chamado TabFM foi o classificador mais consistente, e o TabPFNv3 foi o regressor que chegou mais perto da consistência), nenhum deles era verdadeiramente consistente. De fato, as inconsistências eram tão generalizadas que os pesquisadores concluíram que esses modelos não representam, de fato, uma "distribuição conjunta" única de dados. Em termos simples: os modelos não estão seguindo as leis estritas de probabilidade que deveriam estar mimetizando. Eles estão essencialmente "alucinando" diferentes versões da realidade dependendo da ordem em que você faz as perguntas.

Os autores também descobriram algo interessante: ser um bom preditor (acertar a resposta na maioria das vezes) não significa que você é um preditor "consistente". Um modelo pode ser muito preciso ao adivinhar o preço de uma casa, mas ainda assim se contradizer quando você pede para ele explicar seu raciocínio em uma ordem diferente. Isso sugere que a consistência é uma falha oculta e separada que os benchmarks atuais não detectam.

Então, o que isso significa para o futuro? O artigo não diz que esses modelos são inúteis — eles ainda são as melhores ferramentas que temos para muitas tarefas. No entanto, ele soa um alarme alto de que não podemos confiar cegamente nesses modelos para nos falar sobre relações complexas entre variáveis se precisarmos que eles sejam logicamente coerentes. Os pesquisadores sugerem que os modelos futuros precisam ser construídos com a "consistência" como um recurso central, talvez sendo treinados para penalizar essas contradições, em vez de focar apenas em acertar a resposta final. Até lá, temos que lembrar que esses poderosos "detetives" de IA são ótimos em encontrar pistas, mas às vezes contam versões diferentes da história dependendo de quem pergunta.

Título: Os Modelos de Fundação Tabulares Concordam Consigo Mesmos?

Definição do Problema
Os Modelos de Fundação Tabulares (TFMs - Tabular Foundation Models), como o TabPFN, TabICL e TabFM, representam atualmente o estado da arte para a predição tabular. Esses modelos são construídos como transformers treinados para aproximar a distribuição preditiva posterior bayesiana (PPD) sob um prior sintético. Embora seus cabeçalhos preditivos sejam univariados, os praticantes os utilizam para modelar distribuições multivariadas por meio de amostragem autoregressiva de alvos e anexação destes como características (features). No entanto, a fidelidade da distribuição conjunta resultante não foi investigada. Crucialmente, como a distribuição real de conjuntos de dados do mundo real é desconhecida, os TFMs não podem ser avaliados em relação ao verdadeiro posterior bayesiano. Isso deixa uma lacuna na compreensão se as predições univariadas desses modelos realmente convergem para uma única distribuição conjunta bem definida.

Metodologia
Para abordar a incapacidade de medir a distância de um verdadeiro posterior, os autores propõem uma abordagem livre de rótulos (label-free): determinar se as predições de um modelo poderiam ter sido induzidas por qualquer distribuição conjunta. Uma distribuição conjunta bem definida impõe restrições matemáticas estritas sobre suas marginais e condicionais. Os autores formalizam dois requisitos de consistência que qualquer modelo induzido por uma distribuição conjunta válida deve satisfazer:

Consistência de Marginalização: Isso exige que condicionais marginalizadas sejam iguais às marginais preditas diretamente. Especificamente, se um modelo prediz um alvo $A$ diretamente, e também prediz $A$ condicionado a um segundo alvo $B$ (que é então marginalizado usando a própria predição do modelo para $B$ ), as distribuições resultantes devem ser idênticas. Este é um caso da lei da probabilidade total e da propriedade de martingala de sistemas preditivos coerentes.
Consistência de Fatoração: Este é um requisito mais forte referente à própria distribuição conjunta. Ele demanda que diferentes ordens de fatoração autoregressiva (por exemplo, predizer $A$ depois $B$ , versus $B$ depois $A$ ) resultem exatamente na mesma distribuição conjunta.

Os autores provam que a consistência de fatoração implica a consistência de marginalização, mas o inverso não é verdadeiro. Para avaliar essas propriedades, eles derivam métricas baseadas na distância de Variação Total (TV) entre as distribuições geradas pelo modelo sob essas diferentes condições. Essas métricas funcionam sem o conhecimento da distribuição real (ground-truth) ou do prior de pré-treinamento.

Configuração Experimental
O estudo avalia vários TFMs de última geração (TabPFNv2/v3, TabICLv1/v2, TabDPTv1.2 e TabFM) através de um amplo conjunto de dados do OpenML, cobrindo tarefas de classificação e regressão. Para cada conjunto de dados, duas colunas de alvos são selecionadas para que dependam plausivelmente uma da outra dados os demais recursos. Os modelos são testados sob teste cruzado de 5 dobras (5-fold cross-testing) para medir a discrepância entre:

Predições marginais diretas vs. misturas marginalizadas (Consistência de Marginalização).
Distribuições conjuntas derivadas de diferentes ordens de amostragem (Consistência de Fatoração).

Resultos Principais
Os experimentos revelam violações sistemáticas e significativas de ambos os requisitos de consistência em todos os modelos, conjuntos de dados e tipos de tarefas avaliados:

Violação Universal: Cada TFM avaliado viola tanto a consistência de marginalização quanto a de fatoração em todos os conjuntos de dados. A inconsistência observada é uma propriedade estrutural dos atuais TFMs.
Magnitude da Violação: As violações não são meramente ruído de amostragem, mas representam lacunas estruturais onde a estimativa de um alvo do modelo muda dependendo de se um alvo intermediário é condicionado ou marginalizado.
Comparações de Modelos:
- Classificação: O TabFM (o modelo mais recente) demonstra a maior consistência entre os classificadores, alcançando a menor distância TV média na maioria dos conjuntos de dados. O TabICLv1 é identificado como o classificador mais inconsistente.
- Regressão: Nenhum modelo único emerge como o mais consistente em todos os conjuntos de dados. O TabDPT parece relativamente consistente para marginalização, mas está entre os mais inconsistentes para fatoração. O TabPFNv3 é o regressor mais consistente em relação à fatoração.
Correlação: Existe uma forte correlação positiva entre as violações de consistência de marginalização e de fatoração. No entanto, não há uma forte correlação entre a precisão preditiva de um modelo (ou RMSE) e sua consistência; modelos de alto desempenho não são necessariamente mais coerentes.
Contagem de Características: Contrário à intuição, tabelas mais largas (mais recursos) não levam necessariamente a uma maior inconsistência; em tarefas de classificação, as lacunas de consistência foram frequentemente maiores em conjuntos de dados com menos recursos.

Significância e Contribuições
O artigo apresenta três contribuições:

Formulação de Requisitos: Define duas condições necessárias (consistência de marginalização e de fatoração) para que a distribuição conjunta implícita de um TFM seja bem definida.
Métricas Livres de Rótulos: Deriva métricas para quantificar a extensão das violações sem exigir rótulos de verdade fundamental ou conhecimento do prior de pré-treinamento.
Avaliação Empírica: Aplica essas métricas para mostrar que os atuais TFMs de última geração falham em produzir distribuições conjuntas coerentes.

Os autores concluem que as predições univariadas dos atuais TFMs não surgem de uma única distribuição conjunta sobre as colunas da tabela. Consequentemente, esses modelos não podem ser confiáveis para tarefas subsequentes que dependem da estrutura de dependência entre alvos, como a geração de dados autoregressiva. O artigo posiciona a consistência como um eixo de avaliação distinto, separado da precisão, que está atualmente ausente de benchmarks como o TabArena. Embora as condições sejam atualmente diagnósticas, os autores sugerem que trabalhos futuros devem focar no design de modelos — como objetivos de treinamento que penalizem lacunas de consistência ou arquiteturas que imponham um joint latente compartilhado — para construir TFMs que sejam provadamente coerentes.

Mais como este