HIPPO: Enhancing the Table Understanding Capability of LLMs through Hybrid-Modal Preference Optimization

1. Il Problema

I dati tabellari sono fondamentali per organizzare e manipolare informazioni, ma la loro comprensione e il ragionamento su di essi rappresentano una sfida significativa per i modelli linguistici.

• Limitazioni delle rappresentazioni unimodali:
  • Testo: I metodi basati sul testo linearizzano le tabelle (es. in Markdown). Sebbene eccellano nel ragionamento simbolico e aritmetico, perdono spesso la semantica strutturale (allineamento delle celle, colori di sfondo, layout), rendendo le prestazioni instabili al variare del formato.
  • Immagine: I metodi basati sulle immagini (screenshot) preservano il layout e le informazioni visive, sfruttando la percezione visiva dei Modelli Linguistici Multimodali (MLLM). Tuttavia, faticano nel ragionamento simbolico (es. calcoli, estrazione precisa di numeri) e nella lettura del contenuto testuale interno alle celle.
• Gap nella ricerca: Gli studi esistenti si concentrano prevalentemente su rappresentazioni unimodali o combinano le modalità in modo superficiale, senza sfruttare appieno le sinergie tra testo e immagine per compensare le rispettive debolezze. Inoltre, le strategie di addestramento attuali non gestiscono efficacemente i bias specifici di ciascuna modalità.

2. Metodologia: HIPPO

Il paper introduce HIPPO (HybrId-modal Preference oPtimizatiOn), un framework di ottimizzazione che utilizza la Preferenza Diretta (DPO - Direct Preference Optimization) per addestrare gli MLLM a ragionare su tabelle utilizzando rappresentazioni ibride (testo + immagine).

Il processo si articola in tre fasi principali:

A. Rappresentazione Ibrida e Campionamento

Per ogni tabella $T$ e domanda $Q$, il modello genera risposte campionando da tre diverse configurazioni di input:

1. Solo Testo ($L(T)$): La tabella linearizzata.
2. Solo Immagine ($V(T)$): Lo screenshot della tabella.
3. Ibrido ($L(T) + V(T)$): Entrambe le rappresentazioni combinate.

Vengono campionati $K$ candidati di risposta per ciascuna modalità, creando un set di risposte candidate $\tilde{Y}$.

B. Strategia di Selezione del Negativo (Modality-Consistency)

Questa è l'innovazione chiave di HIPPO. Invece di selezionare i dati di addestramento in modo casuale o basandosi su una singola modalità, HIPPO adotta una strategia di coerenza modale:

• Positivo ($\tilde{y}^+$): La risposta corretta (ground truth).
• Negativo ($\tilde{y}^-$): Viene selezionata la risposta errata più frequente tra tutte le modalità campionate.
  • Logica: Se un errore specifico appare frequentemente sia nelle risposte basate su testo, sia su immagine, sia su ibrido, indica un errore "robusto" e stabile che il modello tende a commettere indipendentemente dalla modalità. Selezionare questo errore come negativo costringe il modello a correggere un bias sistematico piuttosto che un errore casuale di una singola modalità.

C. Ottimizzazione tramite DPO

Il modello viene ottimizzato utilizzando la funzione di perdita DPO standard, massimizzando la probabilità della risposta positiva rispetto a quella negativa selezionata. Questo allinea il modello verso la verità terrena mitigando il "bias modale" (la tendenza a preferire una modalità rispetto all'altra).

3. Contributi Chiave

1. Framework HIPPO: Un nuovo approccio di ottimizzazione delle preferenze che integra nativamente rappresentazioni testuali e visive per il ragionamento sulle tabelle.
2. Strategia di Campionamento Coerente: Introduzione di una strategia per la selezione dei negativi basata sulla frequenza cross-modale, che identifica e corregge gli errori stabili che persistono attraverso diverse rappresentazioni.
3. Validazione Sperimentale Estesa: Dimostrazione che l'approccio migliora non solo le prestazioni multimodali, ma anche quelle unimodali, facilitando l'estrazione di semantica complementare.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark standard per il Table Question Answering (TQA) e la Table Fact Verification (TFV), utilizzando modelli di base come MiniCPM-V-2.6, Qwen2.5-VL e Table-LLaVA.

• Prestazioni Generali: HIPPO ha superato le linee di base (LLM solo testo, MLLM solo immagine e MLLM ibrido standard) ottenendo un miglioramento medio del 4% rispetto ai modelli di ragionamento sulle tabelle esistenti.
• Confronto con SFT e DPO Standard:
  • Il fine-tuning supervisionato (SFT) ha mostrato risultati inconsistenti e talvolta un degrado delle prestazioni (overfitting).
  • Il DPO standard (con negativi casuali) ha mostrato benefici limitati.
  • HIPPO ha ottenuto miglioramenti significativi (es. +4.2% su TQA e +5.1% su TFV per Table-LLaVA-7B).
• Robustezza agli Errori Unimodali: In scenari dove il modello fallisce su una singola modalità (es. errore solo testo o solo immagine), HIPPO è riuscito a recuperare la risposta corretta sfruttando le informazioni complementari dell'altra modalità, superando nettamente SFT e DPO standard.
• Analisi della Coerenza: HIPPO ha dimostrato una maggiore coerenza nelle risposte tra modalità diverse (alta similarità Jaccard) e una maggiore diversità nel ragionamento (Chain-of-Thought), indicando che il modello non si è "bloccato" su pattern specifici di una sola modalità.

5. Significato e Impatto

Il lavoro di HIPPO è significativo perché:

• Supera i limiti unimodali: Dimostra che la combinazione di testo e immagine non è solo una somma di informazioni, ma richiede un meccanismo di ottimizzazione specifico (come la selezione dei negativi coerenti) per essere efficace.
• Migliora la generalizzazione: Il modello addestrato con HIPPO mostra capacità di ragionamento superiori anche quando viene testato su input unimodali, suggerendo che l'apprendimento ibrido rafforza la comprensione semantica di base.
• Affidabilità nel ragionamento: Riduce la probabilità di allucinazioni e errori sistematici nelle tabelle, rendendo gli MLLM più affidabili per compiti critici come l'analisi finanziaria o scientifica basata su tabelle.

In sintesi, HIPPO rappresenta un passo avanti fondamentale nell'uso degli MLLM per l'analisi di dati strutturati, trasformando la complementarità tra testo e immagine in un vantaggio tangibile attraverso un'ottimizzazione delle preferenze intelligente e mirata.