HIPPO: Enhancing the Table Understanding Capability of LLMs through Hybrid-Modal Preference Optimization

1. O Problema

Os dados tabulares são onipresentes e contêm semântica estrutural rica, essenciais para tarefas como organização e manipulação de informações. Embora os Modelos de Linguagem Multimodais (MLLMs) tenham avançado na compreensão de tabelas, a maioria dos métodos existentes foca em representações unimodais:

• Baseadas em Texto: Linearizam a tabela (ex: Markdown). São sensíveis a formatação e frequentemente perdem a semântica estrutural (como alinhamento de células e cores), levando a desempenho instável.
• Baseadas em Imagem: Usam capturas de tela da tabela. Preservam o layout visual, mas lutam com raciocínio simbólico (como soma e busca de valores numéricos).

A lacuna identificada é que os estudos anteriores raramente combinam essas modalidades para compensar as fraquezas específicas de cada uma, limitando o potencial de raciocínio de tabelas mais eficaz.

2. Metodologia: HIPPO

O artigo propõe o HIPPO (HybrId-modal Preference oPtimizatiOn), um framework de treinamento que otimiza MLLMs para raciocínio em tabelas utilizando representações híbridas (texto + imagem).

Componentes Principais:

• Representação Multimodal: O modelo recebe três tipos de entrada para a mesma tabela e pergunta:
  1. Apenas Texto ($L(T)$).
  2. Apenas Imagem ($V(T)$).
  3. Texto + Imagem ($L(T) + V(T)$).
• Amostragem Híbrida: O MLLM gera múltiplas respostas candidatas para cada uma das três configurações de entrada.
• Estratégia de Seleção de Negativos Consistentes com a Modalidade:
  • Diferente de métodos que escolhem negativos aleatórios, o HIPPO identifica o erro mais frequente que ocorre através de todas as modalidades (texto, imagem e híbrido).
  • A lógica é que um erro que aparece consistentemente em diferentes modalidades representa um padrão de falha estável e invariante à modalidade.
  • A resposta correta (Ground Truth) é usada como a resposta "escolhida" (positiva), e o erro mais frequente é usado como a resposta "rejeitada" (negativa).
• Otimização por Preferência Direta (DPO): O modelo é treinado usando o algoritmo DPO para maximizar a probabilidade da resposta correta e minimizar a do erro consistente, alinhando o modelo para capturar semântica complementar sem viés para uma modalidade específica.

3. Principais Contribuições

1. Framework HIPPO: Uma nova abordagem de otimização de preferência que integra representações baseadas em texto e imagem para raciocínio robusto em tabelas.
2. Estratégia de Negativos Consistentes: Introdução de uma estratégia de seleção de negativos baseada na consistência entre modalidades (cross-modal self-consistency), permitindo um aprendizado de preferência mais eficaz e mitigando o viés de modalidade.
3. Validação Empírica: Extensivos experimentos e análises em benchmarks diversos (QA e Verificação de Fatos), incluindo estudos de ablação e análise de comportamento de raciocínio cruzado.

4. Resultados Experimentais

Os experimentos foram realizados em tarefas de Resposta a Perguntas em Tabelas (TQA) e Verificação de Fatos em Tabelas (TFV), utilizando modelos base como MiniCPM-V-2.6, Qwen2.5-VL e Table-LLaVA.

• Desempenho Geral: O HIPPO superou consistentemente tanto os modelos baseados apenas em texto (LLMs) quanto os baseados apenas em imagem (MLLMs), alcançando uma melhoria média de 4% em comparação com vários modelos de raciocínio em tabelas.
• Comparação com SFT e DPO Padrão:
  • O ajuste fino supervisionado (SFT) mostrou desempenho inconsistente e, em alguns casos, degradou o desempenho devido ao overfitting.
  • O DPO padrão (com negativos aleatórios) teve benefícios limitados.
  • O HIPPO superou o DPO padrão em mais de 1%, demonstrando que a seleção de negativos baseada em consistência modal é crucial.
• Robustez a Falhas Unimodais: Em cenários onde o modelo falha apenas com texto ou apenas com imagem, o HIPPO conseguiu recuperar o desempenho corretamente ao integrar as pistas complementares da outra modalidade, superando significativamente o SFT e o DPO.
• Diversidade e Consistência de Raciocínio: A análise mostrou que o HIPPO gera caminhos de raciocínio mais consistentes entre modalidades (maior similaridade Jaccard) e, ao mesmo tempo, promove uma maior diversidade de raciocínio (menor similaridade de CoT entre modalidades unimodais e multimodais), indicando uma melhor exploração das informações disponíveis.

5. Significado e Impacto

O trabalho do HIPPO é significativo porque:

• Supera a Limitação Unimodal: Demonstra que a combinação de texto e imagem não é apenas aditiva, mas sinérgica, permitindo que o modelo corrija erros que persistem em uma única modalidade.
• Novo Paradigma de Treinamento: A estratégia de seleção de negativos baseada na frequência de erros cruzados oferece uma nova direção para o treinamento de MLLMs, focando em padrões de erro robustos em vez de ruído aleatório.
• Aplicabilidade Prática: Melhora a capacidade de modelos de IA de lidar com dados tabulares do mundo real (documentos escaneados, web), onde tanto a estrutura visual quanto os dados textuais são essenciais para o raciocínio correto.

Em resumo, o HIPPO estabelece um novo estado da arte na compreensão de tabelas por MLLMs, provando que a otimização de preferência baseada em consistência multimodal é a chave para desbloquear o raciocínio lógico complexo em dados estruturados.