Statistically Indistinguishable, Operationally Distinct: A Formal Barrier for Tabular Foundation Models

Resumo Técnico: Estatisticamente Indistinguíveis, Operacionalmente Distintos

Definição do Problema
O artigo aborda uma limitação fundamental nos modelos de fundação tabulares: sua incapacidade de raciocinar sobre dados produzidos por sistemas empresariais em execução sem o acesso às regras operacionais que regem esses dados. Embora esses modelos se destaquem em tabelas únicas e autocontidas, as tabelas de produção são projeções de sistemas complexos onde códigos de aplicação escrevem linhas, restrições declarativas limitam valores e gatilhos procedurais impõem transições. Consequentemente, os dados de treinamento disponíveis para os modelos carecem da lógica operacional (regras, gatilhos, código) que gerou os valores. Os autores postulam que, sem acesso a esse "fundamento operacional", os modelos enfrentam uma barreira formal onde estados de banco de dados legais e ilegais são estatisticamente indistinguíveis com base apenas nas distribuições de valores.

Metodologia: O Teste de Turing Operacional (OTT)
Para tornar essa barreira falseável, os autores constroem o Teste de Turing Operacional (OTT), uma tarefa de classificação binária que distingue entre estados de banco de dados "legais" e "violadores de regras".

• Construção: O teste utiliza um esquema de ordem-para-caixa de três tabelas (clientes, pedidos, itens do pedido). Ele gera pares de estados onde o estado "ilegal" viola uma regra específica, mas preserva as marginais de valores das colunas de 1 via e 2 vias dentro de uma distância de variação total (TV) de $\tau < 0,02$.
• Tipos de Corrupção: Quatro famílias de regras operacionais são testadas:
  1. Consistência de Valor Relacional: Quebra de restrições de chave estrangeira (ex: substituir IDs por valores não vistos).
  2. Consistência de Cardinalidade: Violação de limites agregados (ex: contagem de itens por pedido) enquanto preserva os valores individuais das linhas.
  3. Lógica de Transformação de Valor: Violação de fórmulas procedurais (ex: $total = \sum itens\_de\_linha \times (1 + imposto)$) ao adicionar compensações que se anulam entre as colunas, deixando o histograma inalterado.
  4. Transição de Estado de Valor: Violação de regras de transição de estado (ex: pendente $\to$ enviado) enquanto preserva a distribuição marginal dos valores de status.
• Limite Teórico: Os autores invocam o lema de Le Cam para estabelecer um limite inferior teórico para o erro de Bayes de qualquer classificador de "apenas valores" (restrito às marginais de valores das colunas). Se a distância TV entre as distribuições legais e ilegais for $\le \tau$, o erro é limitado por $\frac{1}{2} - \frac{\tau}{2}$. Com $\tau < 0,02$, o erro mínimo é $\ge 0,49$, o que significa que a precisão não pode exceder $\approx 0,50$ (chance).

Configuração Experimental
O estudo avalia modelos através de uma "escada de acesso" para determinar qual informação é necessária para cruzar a barreira:

1. Baselines de Apenas Valores: Modelos alimentados apenas com o resumo de 35 dimensões das estatísticas das colunas (média, desvio padrão, quartis, etc.). As arquiteturas incluem XGBoost, TabICL e TabPFN.
2. Acesso ao Nível de Linha: Modelos recebendo dados brutos de linhas sem contexto de regra.
3. Acesso Relacional: Modelos recebendo recursos que incluem joins, cobertura de chave estrangeira e contagens de grupo.
4. Fundamento Operacional: Modelos aumentados com as saídas escalares de sete auditorias derivadas de regras executáveis (ex: recomputar totais a partir de itens de linha para verificar consistência).
5. LLMs de Fronteira: Grandes Modelos de Linguagem (GPT-5.5, Kimi-K2.6) fornecidos com o esquema completo, código-fonte de gatilhos, tabelas de regras e arquivos de estado no prompt, testados com e sem capacidades de execução de SQL.

Resultos Principais

• Falha de Apenas Valores: Todos os baselines de apenas valores (XGBoost, TabICL, TabPFN) atingiram precisão estatisticamente equivalente ao acaso ($\approx 0,50$). Dois testes de uma cauda pré-registrados (TOST) confirmaram que eles falharam em distinguir estados legais de ilegais ($p < 0,002$). Isso se mantém mesmo com o aumento dos dados de treinamento (até 5.000 pares) e acesso bruto ao nível de linha.
• Insuficiência Relacional: Modelos relacionais (HistGB, RDB-PFN) melhoraram significativamente, atingindo 0,89 de precisão. Eles detectaram com sucesso quebras de chave estrangeira, violações de cardinalidade e erros de transição de estado. No entanto, falharam completamente em lógica de transformação de valor (recall $\le 0,02$), pois a conectividade sozinha não pode reconstruir fórmulas executáveis como cálculos de imposto ou desconto.
• Sucesso do Fundamento Operacional: Um classificador aumentado com as sete auditorias derivadas de regras executáveis alcançou 1,00 de precisão, fechando a lacuna inteiramente. Isso confirma que a barreira não é falta de capacidade do modelo, mas sim falta de acesso à lógica executável.
• Limitações de LLMs: LLMs de fronteira fornecidos com artefatos completos de origem (esquema, código, regras) no prompt falharam no teste. O GPT-5.5 classificou 0/50 estados legais como LEGAIS, e o Kimi-K2.6 classificou apenas 2/50. Mesmo com alto esforço de raciocínio e execução de SQL, os LLMs não conseguiram compilar de forma confiável os artefatos de origem em verificações de legalidade determinísticas, frequentemente declarando predicados incorretamente ou omitindo verificações de transformação.

Significância e Alegações
O artigo alega que a incapacidade dos modelos de fundação tabulares de raciocinar sobre dados gerados pelo sistema sem regras operacionais é um problema de identificabilidade, não de capacidade.

• Barreira Formal: Os autores estabelecem que, onde as marginais estatísticas são correspondidas com alto grau de precisão, nenhum modelo sem acesso às regras governantes pode performar melhor do que o acaso.
• Independência: Esta barreira é independente de arquitetura de modelo, escala ou riqueza de recursos. As leis de escala (scaling laws) não podem superar a ausência de fundamento operacional.
• Implicação para o Progresso: Os autores argumentam que o progresso nos modelos de fundação tabulares exige tratar regras declarativas e procedurais como entradas de primeira classe — lógica que o modelo pode avaliar — e não meramente como texto recuperado. Os benchmarks atuais (como o TabArena) ignoram este modo de falha; apenas benchmarks operacionais que testam contra a "escada de acesso" revelam as limitações reais dos modelos atuais.

O artigo conclui que, para dados produzidos por sistemas em execução, a verificação operacional (saber qual regra deve ser avaliada) é um pré-requisito para a confiança, e os modelos de fundação atuais, mesmo com contexto completo, carecem do mecanismo para realizar essa verificação de forma confiável sem a derivação explícita e executável da regra.