The Mighty ToRR: A Benchmark for Table Reasoning and Robustness

Titel: The Mighty ToRR: Een Benchmark voor Tabelredenering en Robuustheid in LLM's

1. Het Probleem

Hoewel tabulaire data alomtegenwoordig is in real-world toepassingen (zoals financiën, wetenschap en Wikipedia), blijft de prestatie van Large Language Models (LLM's) op tabulatare taken onderbelicht. Bestaande evaluaties zijn vaak beperkt tot specifieke taken, smalle domeinen of een klein aantal modellen. Cruciaal ontbreekt er een systematische beoordeling van de robuustheid van modellen: hoe goed presteren ze wanneer de weergave van de tabel verandert (bijvoorbeeld van JSON naar HTML) of wanneer de structuur licht wordt gewijzigd (bijvoorbeeld het shuffle-en van rijen)?

De auteurs stellen dat huidige benchmarks onvoldoende inzicht geven in de betrouwbaarheid van modellen, omdat ze vaak slechts één prompt-configuratie gebruiken. Dit leidt tot een onvolledig beeld van de werkelijke redeneercapaciteiten van LLM's.

2. Methodologie: De ToRR Benchmark

Om deze kloof te dichten, hebben de auteurs ToRR (Table Reasoning and Robustness) ontwikkeld. Dit is een uitgebreide benchmark die modelprestaties en -robuustheid meet over een breed scala aan tabelgerelateerde taken.

• Datasets: ToRR omvat 10 datasets die afkomstig zijn uit 6 verschillende domeinen (zoals financiën, Wikipedia en wetenschap). De taken variëren van tabelvragen (QA) en feitelijke verificatie tot tabel-naar-tekst generatie en kolomtype-annotatie.
• Vaardigheden: De datasets testen drie niveaus van redeneren:
  1. Kennisextractie: Relevantie informatie uit de tabel halen.
  2. Tekstuele redenering: Conclusies trekken door tekst en data te combineren.
  3. Numerieke redenering: Berekeningen uitvoeren op tabeldata.
• Prompt-configuraties (Het kernpunt): Om robuustheid te testen, wordt elk voorbeeld in de testset niet één keer, maar 35 keer gepresenteerd aan het model. Dit gebeurt via een combinatie van:
  • 7 Serialisaties: Verschillende formaten om de tabel als tekst weer te geven (bijv. HTML, CSV, JSON, Markdown, DataFrame, etc.).
  • 4 Structurele Perturbaties: Veranderingen in de structuur zonder de semantiek te wijzigen (bijv. rijen shuffelen, kolommen shuffelen, transponeren, lege rijen toevoegen).
• Evaluatiemetrieken:
  • P (Performance): De gemiddelde score over alle prompt-configuraties.
  • R (Robustness): Een score die de variabiliteit in prestaties per voorbeeld meet. Een hoge robuustheidsscore betekent dat het model consistent presteert, ongeacht de formatwijzigingen. De formule is: $R = 1 - \text{gemiddelde bereik van scores per voorbeeld}$.

3. Belangrijkste Bijdragen

1. Uitgebreide Benchmark: ToRR is de eerste benchmark die systematisch modelrobuustheid meet over diverse tabelredeneertaken en -formaten.
2. Uitgebreide Evaluatie: De auteurs hebben 14 toonaangevende LLM's (zowel open-source als gesloten, zoals GPT-4o, Claude 3.5 Sonnet, DeepSeek-v3, Llama 3.1) geëvalueerd.
3. Inzicht in Format-afhankelijkheid: Het paper demonstreert dat er geen enkel tabelformaat is dat consistent de beste prestaties oplevert.
4. Meta-evaluatie: Het paper toont aan dat het testen met meerdere prompt-configuraties de betrouwbaarheid van de evaluatie aanzienlijk verhoogt, en dat dit effect vergelijkbaar is met het verdubbelen van de testsetgrootte.

4. Resultaten en Analyse

De resultaten tonen een zorgwekkend patroon van breekbaar gedrag bij huidige modellen:

• Matige Prestaties: Zelfs de sterkste modellen (zoals Claude 3.5 Sonnet en GPT-4o) halen slechts gemiddelde tot lage scores (rond de 0.50) op de meest uitdagende datasets. De kloof tussen de beste en slechtste modellen is smaller dan vaak wordt aangenomen.
• Gebrek aan Robuustheid: Modellen vertonen extreme gevoeligheid voor kleine veranderingen in de prompt. Een model kan een vraag correct beantwoorden in Markdown, maar falen volledig als dezelfde tabel in CSV-formaat wordt gepresenteerd met geschudde rijen. De variatie in scores voor één enkel voorbeeld over de 35 configuraties is groot.
• Geen "Beste" Formaat: Er is geen enkele serialisatie (bijv. JSON vs. HTML) die voor alle modellen of alle taken consistent beter presteert. De voorkeur is model- en taakafhankelijk.
• Open vs. Gesloten Modellen: Gesloten, proprietaire modellen presteren over het algemeen iets beter dan open-weight modellen, maar ook zij tonen aanzienlijke kwetsbaarheden.
• Relatie tussen Prompts en Voorbeelden: Een cruciale bevinding is dat het verhogen van het aantal prompt-configuraties (bijv. van 1 naar 10) de betrouwbaarheid van de rangschikking van modellen even sterk verbetert als het verdubbelen van het aantal testvoorbeelden. Dit suggereert dat variatie in prompts een kostenefficiëntere manier is om betrouwbare resultaten te krijgen dan het simpelweg vergroten van de dataset.

5. Betekenis en Conclusie

De studie van ToRR heeft belangrijke implicaties voor de ontwikkeling en evaluatie van LLM's:

• Huidige Modellen zijn Niet Klaar voor Productie: De extreme gevoeligheid voor formatvariaties suggereert dat huidige LLM's nog geen stabiele, generaliseerbare interne representatie van tabellen hebben. Dit is een groot risico voor real-world toepassingen waar dataformaten kunnen variëren.
• Nieuwe Standaard voor Evaluatie: De auteurs bepleiten dat toekomstige benchmarks niet mogen vertrouwen op één enkele prompt-configuratie. Om een betrouwbaar beeld te krijgen van de capaciteiten van een model, moet men testen over meerdere formaten en perturbaties.
• Leiderschapslijst: De paper publiceert een open leaderboard met de resultaten, inclusief de volledige inferentie-outputs en de code, om herhaalbaarheid te waarborgen.

Kortom, ToRR onthult dat redeneren over tabellen nog steeds een significante uitdaging is voor LLM's en dat de huidige evaluatiemethoden de kwetsbaarheid van deze modellen voor formatvariaties onderschatten. Robuustheid is net zo belangrijk als pure prestatie.