Improving Robustness of Tabular Retrieval via Representational Stability

Resumo Técnico: Melhorando a Robustez da Recuperação de Tabelas via Estabilidade Representacional

1. O Problema: Sensibilidade à Serialização

O artigo aborda uma falha fundamental nos sistemas de recuperação de tabelas baseados em Transformers. Como os modelos de linguagem processam sequências unidimensionais de tokens, tabelas estruturadas (bidimensionais) precisam ser "achatadas" (serializadas) em strings de texto.

Os autores demonstram que essa escolha de serialização (ex: CSV, HTML, JSON, Markdown) não é apenas um detalhe de pré-processamento, mas uma variável de primeira ordem que altera drasticamente os embeddings gerados. Mesmo que o conteúdo semântico da tabela seja idêntico, diferentes formatos produzem vetores em regiões distintas do espaço de representação, o que causa instabilidade nos resultados de recuperação (variância no Recall@1). O problema é agravado em conjuntos de dados como o NQ-Tables, onde a lacuna lexical entre a consulta e a tabela é maior.

2. Metodologia: O Conceito de Centróide

Para mitigar essa instabilidade, os autores propõem uma mudança de paradigma: em vez de buscar o melhor formato único, deve-se buscar uma representação que seja invariante ao formato.

• Hipótese de Perturbação Centrada: Eles modelam o embedding de cada serialização $z_s(T)$ como a soma de um sinal semântico estável ($\mu$) e um deslocamento específico do formato ($\delta_s$). Assumindo que esses deslocamentos se anulam quando calculada a média, o centróide das diversas serializações de uma mesma tabela aproxima-se do sinal semântico puro.
• Representação por Centróide: O centróide $c(T)$ é definido como a média aritmética dos embeddings de todas as serializações semanticamente equivalentes da tabela.

3. Contribuições Principais

O trabalho apresenta três contribuições fundamentais:

1. Quantificação da Instabilidade: Uma análise sistemática que prova como a escolha da serialização afeta diferentes famílias de recuperadores (densos, esparsos e de raciocínio).
2. Fundamentação Teórica: Demonstração de que o centróide é o ponto geometricamente ótimo (mínimos quadrados) para representar o conjunto de serializações e que ele recupera o componente semântico compartilhado.
3. Adapter de Gargalo Residual (Residual Bottleneck Adapter): Como calcular o centróide em tempo de inferência seria computacionalmente caro (exigiria múltiplas passagens pelo encoder), os autores introduzem um módulo leve (adapter) que é treinado sobre um codificador congelado. Este adapter aprende a "transportar" o embedding de um único formato em direção ao alvo do centróide.

O treinamento do adapter utiliza uma função de perda inspirada no VICReg, que combina quatro termos:

• Invariância: Minimiza a distância entre a saída e o centróide.
• Identidade: Garante que o embedding não se desvie demais do espaço original (mantendo a compatibilidade com as consultas).
• Variância: Evita o colapso dimensional (garante que os vetores continuem espalhados).
• Covariância: Reduz a redundância entre as dimensões do vetor.

4. Resultados Experimentais

Os experimentos foram realizados em três benchmarks (WTQ, WikiSQL e NQ-Tables) utilizando modelos como MPNet, BGE-M3, ReasonIR e SPLADE.

• Superioridade do Centróide: As representações baseadas em centróide superaram consistentemente os formatos individuais em comparações pareadas de ranking.
• Ganhos com o Adapter: O adapter melhorou significativamente a robustez de recuperadores densos. Por exemplo, no modelo MPNet, o Recall@1 para o formato HTML no dataset WTQ saltou de 0,09 para 0,18.
• Seletividade do Modelo: Os ganhos foram mais pronunciados em formatos "pesados" (como XML ou HTML) ou perturbados (linhas/colunas embaralhadas).
• Limitação em Modelos Esparsos: O modelo SPLADE (recuperação lexical esparsa) apresentou degradação com o adapter. Isso ocorre porque o mecanismo de correção densa (MLP) tende a "densificar" vetores esparsos, destruindo a estrutura de termos necessária para a indexação por inversão.
• Generalização: O adapter treinado em apenas dois datasets (subset training) mostrou capacidade de transferir conhecimento para o dataset não visto (NQ-Tables), especialmente para modelos de raciocínio.

5. Significância e Conclusão

O artigo identifica a sensibilidade à serialização como uma fonte de erro sistemática e subestimada na recuperação de dados estruturados. A proposta de uma correção geométrica post hoc via adapters oferece uma solução eficiente para tornar os sistemas de busca de tabelas mais robustos sem a necessidade de reindexar todo o corpus ou treinar modelos gigantescos do zero. O trabalho sugere que a serialização deve ser tratada como uma escolha de modelagem com consequências geométricas profundas, e não apenas como uma etapa de limpeza de dados.