HIPPO: Enhancing the Table Understanding Capability of LLMs through Hybrid-Modal Preference Optimization

Probleemstelling

Tabulaire data is overal aanwezig (databases, wetenschappelijke artikelen, webpagina's) en bevat rijke structurele semantiek. Hoewel Multi-Modal Large Language Models (MLLMs) veelbelovend zijn voor tabelgerelateerde taken, lijden bestaande methoden onder beperkingen in hun representatie:

• Tekstgebaseerde methoden: Lineariseren tabellen (bijv. naar Markdown). Dit is gevoelig voor opmaak en verliest vaak structurele semantiek (zoals celuitlijning en lay-out), wat leidt tot instabiele prestaties.
• Afbeeldingsgebaseerde methoden: Gebruiken screenshots van tabellen. Hoewel dit de lay-out behoudt, worstelen deze modellen vaak met symbolische redenering (zoals optellen of zoeken naar specifieke waarden).
• Het gat: Bestaande studies focussen voornamelijk op unimodale benaderingen (alleen tekst of alleen afbeelding) en onderzoeken niet hoe de complementaire sterktes van beide modaliteiten effectief kunnen worden gecombineerd om robuustere tabelredenering te bereiken.

Methodologie: HIPPO

De auteurs stellen HIPPO (HybrId-modal Preference oPtimizatiOn) voor, een trainingsframework dat MLLMs optimaliseert door voorkeursignalen te construeren uit meerdere modaliteiten. Het kernidee is het gebruik van Direct Preference Optimization (DPO) met een specifieke strategie voor het selecteren van negatieve voorbeelden.

1. Hybride Modale Representatie:
Het model wordt geprompt met drie verschillende input-instellingen voor dezelfde tabel en vraag:

• Alleen tekst ($L(T)$)
• Alleen afbeelding ($V(T)$)
• Tekst + Afbeelding ($L(T) + V(T)$)

2. Modale-Consistente Negatieve Selectie (Kerninnovatie):
Bij standaard DPO worden negatieve voorbeelden vaak willekeurig gekozen. HIPPO introduceert een strategie om representatieve negatieven te selecteren die modale bias vermijden:

• Het model genereert meerdere antwoorden (samples) voor elke van de drie input-modi.
• Het positieve voorbeeld ($\tilde{y}^+$) is het grondwaarheid-antwoord (ground truth).
• Het negatieve voorbeeld ($\tilde{y}^-$) wordt niet willekeurig gekozen, maar is het meest voorkomende verkeerde antwoord over alle modaliteiten heen.
• Redenering: Als een fout consistent voorkomt in tekst-, afbeelding- en hybride-inputs, is het een stabiel, modaal-invariant foutpatroon. Door hierop te trainen, leert het model om deze specifieke fouten te vermijden zonder zich te laten leiden door toevallige cues van één specifieke modaal.

3. Training:
Het model wordt geoptimaliseerd met de DPO-loss functie, waarbij de kans op het grondwaarheid-antwoord wordt gemaximaliseerd ten opzichte van het meest frequente verkeerde antwoord.

Belangrijkste Bijdragen

1. HIPPO Framework: Een nieuw trainingsframework dat tekst- en afbeeldingsrepresentaties van tabellen combineert om robuuste tabelredenering in MLLMs te bevorderen.
2. Modale-Consistente Strategie: Een innovatieve methode voor het selecteren van negatieve voorbeelden in DPO-training. In plaats van willekeurige negatieven, kiest het systeem voor fouten die consistent zijn over modaliteiten, wat leidt tot effectiever leren en minder modale bias.
3. Uitgebreide Evaluatie: Gedetailleerde experimenten en analyses op diverse benchmarks, inclusief ablatiestudies en onderzoek naar cross-modale consistentie en redeneergedrag.

Resultaten

De auteurs hebben HIPPO getest op twee hoofdtaken: Tabelvraagbeantwoording (TQA) en Tabelfeitverificatie (TFV), met verschillende basismodellen (zoals MiniCPM-V-2.6, Qwen2.5-VL, Table-LLaVA).

• Prestatieverbetering: HIPPO bereikte een gemiddelde verbetering van 4% ten opzichte van bestaande tabelredeneringsmodellen.
• Vergelijking met Baselines:
  • HIPPO presteerde beter dan zowel pure tekst-LLMs als pure afbeeldings-MLLMs.
  • Op de MiniCPM-V-2.6 baseline verbeterde HIPPO de prestaties met 3,6% op TQA en 2,8% op TFV ten opzichte van zero-shot modellen.
  • In vergelijking met standaard Supervised Fine-Tuning (SFT) en DPO met willekeurige negatieven, toonde HIPPO consistente verbeteringen. SFT leidde vaak tot overfitting en presteerde slechter op sommige datasets.
• Ablatie Studies:
  • Het gebruik van hybride sampling (tekst + afbeelding + hybride) met de modale-consistente negatieve selectie was cruciaal; willekeurige negatieven leverden weinig winst op.
  • Een sampling-grootte ($K$) van 10 per modaal bleek optimaal; grotere aantallen introduceerden ruis.
• Cross-Modale Consistentie: HIPPO toonde een hogere Jaccard-similariteit tussen outputs van unimodale en multimodale inputs, wat aangeeft dat het model consistentere antwoorden geeft ongeacht de input-modus.
• Robuustheid bij Falen: In scenario's waar een unimodale input faalde (bijv. tekst gaf een fout, maar afbeelding niet, of vice versa), was HIPPO het meest succesvol in het herstellen van het antwoord door gebruik te maken van complementaire cues.

Significantie

Dit paper is significant omdat het een oplossing biedt voor het fundamentele probleem van modale bias in tabelredenering.

• Complementaire Semantiek: Het bewijst dat tekst en afbeeldingen elkaar aanvullen: tekst is goed voor numerieke bewerkingen en exacte waarden, terwijl afbeeldingen essentieel zijn voor lay-out en contextuele relaties.
• Generalisatie: HIPPO verbetert niet alleen de prestaties in multimodale settings, maar versterkt ook de redeneercapaciteit in unimodale settings, wat aantoont dat het model de onderliggende semantiek beter heeft geleerd in plaats van alleen de input-modus te memoriseren.
• Toekomstige Richting: De methode biedt een nieuwe weg voor het trainen van MLLMs op gestructureerde data, waarbij voorkeurslearning (Preference Optimization) wordt gebruikt om de betrouwbaarheid van redenering te verhogen in plaats van alleen de output te fitten.

Kortom, HIPPO demonstreert dat het slim combineren van modaliteiten via een geavanceerde voorkeursstrategie de staat van de kunst voor tabelbegrip aanzienlijk kan verbeteren.