ViTaB-A: Evaluating Multimodal Large Language Models on Visual Table Attribution
Dit onderzoek toont aan dat multimodale grote taalmodellen, hoewel ze redelijk goed vragen over gestructureerde tabellen kunnen beantwoorden, zeer onbetrouwbaar zijn in het nauwkeurig aangeven van de specifieke rijen en kolommen die als bewijs dienen, wat hun inzetbaarheid voor toepassingen die transparantie vereisen beperkt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Titel: Waarom AI-tafels niet kunnen "wijzen" (De ViTaB-A studie)
Stel je voor dat je een enorme, complexe spreadsheet hebt met de financiën van een bedrijf. Je vraagt aan een slimme AI-assistent: "Wanneer is de winst gestegen?"
De AI antwoordt snel en zelfverzekerd: "In 2023!"
Klinkt geweldig, toch? Maar nu stel je de volgende vraag: "Kun je me precies laten zien in welke rij en kolom die informatie staat, zodat ik het kan controleren?"
Hier slaat de paniek toe. De AI, die net zo slim leek, begint te twijfelen, wijst naar de verkeerde plek, of zegt gewoon: "Ik weet het niet meer."
Dit is precies wat deze nieuwe studie, ViTaB-A, ontdekt heeft. De onderzoekers van de Arizona State University hebben gekeken hoe goed moderne AI-modellen (zogenoemde Multimodale Large Language Models) niet alleen antwoorden kunnen geven op basis van tabellen, maar ook kunnen aantonen waar die antwoorden vandaan komen.
Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:
1. Het "Gouden Varken" vs. De "Gids"
Stel je een AI voor als een gids in een enorm museum (de tabel).
- Vraag: "Waar hangt het schilderij van de Mona Lisa?"
- AI's antwoord: "In zaal 6." (Dit is het antwoord op de vraag).
- De echte test: "Kun je me nu precies wijzen op de muur en het frame?" (Dit is de attributie).
De studie laat zien dat deze AI's heel goed zijn in het noemen van de zaal (ze geven vaak het juiste antwoord), maar ze zijn vreselijk slecht in het wijzen van de exacte muur. Ze kunnen het antwoord "raden" of "voelen", maar ze kunnen niet bewijzen waar ze het vandaan hebben.
2. Het Formaat maakt het verschil: Foto vs. Tekst
De onderzoekers hebben de AI's getest met tabellen in drie vormen:
- Een foto van de tabel (zoals een PDF of screenshot).
- Markdown (een simpele tekstversie die op een website staat).
- JSON (een complexe code-structuur die computers lezen).
De verrassende ontdekking:
- Foto's zijn makkelijker: Als de tabel als een foto wordt getoond, werkt de AI beter. Waarom? Omdat de AI dan de visuele lijnen en blokken kan zien, net zoals jij dat doet. Het is alsof je naar een plattegrond kijkt.
- Tekst is lastig: Als de tabel als tekst of code (JSON) wordt gegeven, gaat het helemaal mis. De AI raakt de weg kwijt. Het is alsof je iemand vraagt om een stad te beschrijven, maar je geeft ze alleen een lijst met straatnamen zonder kaart. Ze weten het antwoord misschien, maar ze kunnen de route niet uitleggen.
3. Rij vs. Kolom: De "Lijst" vs. De "Kop"
De studie vond nog een raar patroon:
- AI's zijn goed in het vinden van de rij (bijvoorbeeld: "De rij over Apple").
- AI's zijn slecht in het vinden van de kolom (bijvoorbeeld: "De kolom met 'Winst'").
De analogie:
Stel je een klaslijst voor.
- De rij is een specifieke leerling (bijv. "Jan"). Dat is makkelijk te vinden.
- De kolom is een eigenschap (bijv. "Leeftijd").
De AI kan Jan vinden, maar als je vraagt: "Waar staat precies de leeftijd van Jan?", dan wijst de AI vaak naar de verkeerde plek. Ze begrijpen de structuur van de "lijst" beter dan de "koppen" erboven.
4. Het Gevaar van Zelfvertrouwen
Dit is misschien wel het meest zorgwekkende deel.
De AI's zeggen vaak: "Ik ben 90% zeker dat dit het juiste antwoord is."
Maar als je vraagt: "Waar heb je dat gezien?", dan blijkt dat ze eigenlijk maar 20% zekerheid hadden, of dat ze helemaal niet weten waar ze het vandaan hebben.
Het is alsof een student een examen maakt en zegt: "Ik weet het zeker, het antwoord is B!", maar als de leraar vraagt: "Waar in het boek staat dat?", zegt de student: "Euh... ergens in hoofdstuk 3?" terwijl het antwoord eigenlijk in hoofdstuk 10 staat.
Waarom is dit belangrijk?
In de wereld van bankieren, gezondheidszorg en wet is het niet genoeg om het juiste antwoord te geven. Je moet kunnen bewijzen waar het vandaan komt.
- Als een AI zegt: "Deze patiënt heeft een allergie," moet je kunnen zien in welk dossier dat staat.
- Als een AI zegt: "De aandelen zijn gestegen," moet je de exacte regel kunnen tonen.
Als de AI dit niet kan doen, is het te gevaarlijk om te vertrouwen in deze belangrijke situaties.
Conclusie
De boodschap van dit onderzoek is duidelijk: Huidige AI's zijn slimme "gokkers", maar slechte "onderzoekers". Ze kunnen vaak het juiste antwoord raden, maar ze zijn nog niet betrouwbaar genoeg om te laten zien waar ze die informatie vandaan hebben gehaald.
Zolang we niet kunnen vertrouwen op hun "wijzen", moeten we ze niet gebruiken voor taken waarbij transparantie en controle essentieel zijn. De AI moet leren niet alleen te praten, maar ook te wijzen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.