When Tables Go Crazy: Evaluating Multimodal Models on French Financial Documents

Titel: Wanneer Tabellen Krijgen: Een Simpele Uitleg over AI en Franse Financiële Documenten

Stel je voor dat je een enorme, ingewikkelde handleiding voor een dure auto moet lezen. Deze handleiding is niet alleen tekst, maar zit vol met ingewikkelde tabellen, grafieken die de snelheid tonen, en juridische regels. Nu vraag je aan een slimme robot (een AI) om je te helpen de belangrijkste informatie te vinden, zoals: "Hoeveel kost de verzekering?" of "Wat gebeurt er als ik te hard rijd?"

Dit is precies wat de auteurs van dit paper hebben onderzocht. Ze hebben gekeken of de slimste robots van vandaag (zogenaamde Vision-Language Models of VLMs) goed kunnen omgaan met Franse financiële documenten. Deze documenten zijn berucht om hun lengte, hun moeilijke taal en de mix van tekst, tabellen en plaatjes.

Hier is de uitleg, vertaald naar alledaags taalgebruik:

1. Het Probleem: De "Gouden Robot" met een Blinde Vlek

De wetenschappers hebben een nieuwe test ontwikkeld, genaamd MULTIMODAL FINANCE EVAL. Het is als een groot examen voor robots, speciaal gemaakt voor Franse bankdocumenten. Ze hebben 1.204 vragen bedacht, variërend van simpele vragen ("Wat is de naam van het fonds?") tot moeilijke redeneervragen ("Als ik dit doe en dat, wat zijn dan de kosten over vijf jaar?").

Ze hebben zes verschillende robots (van klein tot gigantisch groot) dit examen laten maken.

2. De Resultaten: Sterk in lezen, zwak in zien en onthouden

De uitkomsten waren verrassend en een beetje zorgwekkend:

• Lezen is geen probleem (De "Boekworm"):
  Als de robot alleen maar tekst moest lezen, deden ze het fantastisch. Ze haalden 85% tot 90% goede antwoorden. Het is alsof je een robot een boek geeft en vraagt: "Op welke pagina staat de hoofdpersoon?" Dat kunnen ze perfect. Ze vinden de informatie snel en nauwkeurig.

• Tabellen zijn okay (De "Rekenaar"):
  Bij tabellen (rijtjes en kolommen met cijfers) deden ze het ook redelijk goed, tussen de 50% en 86%. Ze kunnen de getallen vinden, maar soms raken ze de draad kwijt als de tabel heel rommelig is.

• Grafieken zijn een nachtmerrie (De "Blindeman"):
  Dit was de grote teleurstelling. Als de robot naar een grafiek moest kijken (bijvoorbeeld een lijn die omhoog of omlaag gaat), vielen ze dramatisch terug. De scores lagen tussen de 34% en 62%.

  • De Analogie: Stel je voor dat je een robot een kaart geeft met een route erop. De robot kan de tekst "Dichtstbijzijnde tankstation" perfect lezen, maar als je vraagt "Kijk naar de lijn op de kaart, waar is het hoogste punt?", kijkt de robot er naar alsof het een onleesbaar krabbel is. Ze begrijpen niet hoe ze een plaatje moeten "lezen" om een trend te zien.

• Gesprekken zijn het grootste gevaar (De "Domme Kettingreactie"):
  Dit is het meest kritieke punt. De wetenschappers lieten de robots een gesprek voeren.

  • Vraag 1: "Wat zijn de kosten?" (Robot: "10 euro").
  • Vraag 2: "Oké, en als ik dat bedrag verdubbel, wat zijn de kosten dan?"

  Hier ging het mis. Als de robot bij de eerste vraag een klein foutje maakte (bijvoorbeeld "11 euro" in plaats van "10"), dan gebruikte hij die fout in het tweede antwoord. En in het derde antwoord werd het nog erger.

  • De Analogie: Het is als een spelletje "Stomme Telefoon". Als de eerste persoon een woord verkeerd fluistert, is het laatste woord aan het einde van de rij totaal onherkenbaar.
  • Het Resultaat: Zelfs de grootste, slimste robots vielen terug naar ongeveer 50% juistheid (een gok) zodra ze een fout maakten in het begin. Groter zijn maakt ze niet slimmer in dit opzicht; ze worden gewoon grotere foutenmakers in een gesprek.

3. Wat betekent dit voor ons?

De boodschap van dit onderzoek is tweeledig:

1. Voor simpele taken zijn ze geweldig: Als je een robot wilt gebruiken om snel een specifiek getal uit een document te halen (bijvoorbeeld: "Wat is de datum van dit contract?"), kun je dat doen. Ze zijn dan als een super-snelle bibliothecaris.
2. Voor complexe adviezen zijn ze nog te onbetrouwbaar: Je kunt ze niet gebruiken om complexe financiële beslissingen te nemen of om een gesprek te voeren over investeringen. Als ze eenmaal een fout maken, kunnen ze zichzelf niet corrigeren en worden ze steeds onzekerder.

Conclusie: De "Gouden Robot" heeft nog werk aan de winkel

De auteurs zeggen: "We hebben een nieuwe test gemaakt die laat zien dat robots nog niet klaar zijn voor de zware, echte financiële wereld."

Ze zijn goed in het vinden van informatie, maar ze zijn nog te fragiel om te redeneren over plaatjes of om een lang gesprek te voeren zonder de draad te verliezen. Voor nu moeten mensen (financiële experts) altijd de eindcontrole blijven doen. De robots zijn handige hulpmiddelen, maar nog geen vervanging voor een menselijke adviseur.

Kort samengevat: De robots zijn slimme zoekmachines, maar nog geen slimme denkers als het gaat om plaatjes en lange gesprekken.