Confidence Estimation for Financial Vision-Language Models in Chart and Document Understanding

Stel je voor dat je de kapitein bent van een ruimteschip, maar in plaats van door de sterren te sturen, navigeer je door een zee van financiële grafieken, aandelenlijsten en complexe documenten. Je hebt een zeer slimme, zeer snelle robotassistent (een AI) die deze documenten kan lezen en je vragen kan beantwoorden. De robot is goed in het herkennen van patronen, maar soms wordt hij overmoedig. Hij kan naar een leeg vel papier kijken en vol vertrouwen de prijs van een aandeel noemen, of hij kan een grafiek lezen en het getal fout krijgen terwijl hij klinkt alsoals absoluut zeker. In de wereld van de financiën is het maken van een fout niet zomaar een klein foutje; het kan miljoenen dollars kosten. Dus de grote vraag is niet alleen: "Is de robot slim?" maar "Kunnen we nu vertrouwen op wat hij zegt?"

Om dit op te lossen, hebben wetenschappers de robots geleerd om zichzelf een "betrouwbaarheidsscore" te geven—een getal van 0 tot 1 dat zegt: "Ik weet vrij zeker dat ik het goed heb" of "Ik ben gewoon aan het gokken." Denk hierbij aan een weersverwachting. Als een meteoroloog zegt dat er 90% kans op regen is, neem je een paraplu mee. Als hij zegt 10%, laat je hem thuis. Maar wat als de meteoroloog een leugenaar is die altijd "90%" zegt, ongeacht hoe de lucht eruitziet? Dan word je toch nat. Dit artikel gaat over het testen of onze financiële robotassistenten eerlijke weersvoorspellers zijn of gewoon zelfverzekerde leugenaars. De onderzoekers wilden zien of de instrumenten die we gebruiken om het vertrouwen van de robot te controleren, werken wanneer de robot naar lastige financiële grafieken kijkt die hij nog nooit eerder heeft gezien, in plaats van naar gewone foto's van katten en honden.

De "Gevoelscheck" van de Robot

De onderzoekers zetten een enorme experimentele opzet op om zeven verschillende manieren te testen om te controleren of een AI de waarheid spreekt. Ze gebruikten vijf verschillende "slimme" AI-modellen en vroegen hen problemen op te lossen uit drie verschillende financiële testbanken. Deze tests omvatten het lezen van aandelengrafieken, het analyseren van bedrijfsrapporten en zelfs het beantwoorden van vragen in zowel het Engels als het Chinees. De crux? De instrumenten die werden gebruikt om het vertrouwen van de AI te controleren, waren alleen getraind op gewone, alledaagse plaatjes (zoals een kat die op een matje zit) en werden vervolgens rechtstreeks in het diepe water van de financiële wereld geworpen zonder extra training. Het was alsof je een badmeester meeneemt die alleen geoefend heeft in een rustig zwembad en hem vervolgens vraagt om mensen te redden in een stormachtige oceaan.

Het team ontdekte drie grote zaken, en ze zijn een beetje een waarschuwing voor iedereen die hoopt de AI het werk alleen te laten doen.

1. "Rangschikken" is niet genoeg; je moet "Eerlijk" zijn
De eerste bevinding is dat veel instrumenten die het vertrouwen controleren goed zijn in het sorteren van antwoorden van "beste gok" naar "slechtste gok", maar verschrikkelijk zijn in het eerlijk zijn over hoe zeker ze zijn. Stel je een student voor die een toets maakt. Een "rangschikkingsinstrument" kan zeggen: "Dit antwoord is beter dan dat antwoord," maar het kan aan beide antwoorden een betrouwbaarheidsscore van 100% geven, zelfs als de student maar aan het gokken is. De onderzoekers ontdekten dat de standaard, gemakkelijk te gebruiken methoden extreem overmoedig waren. Ze gaven een fout antwoord bijna net zo vaak een betrouwbaarheidsscore van 90% als een juist antwoord. Dit is gevaarlijk, want als je een regel instelt als "vertrouw alleen antwoorden boven de 80%", zou je nog steeds veel foute antwoorden vertrouwen.

Echter, twee speciale instrumenten (genaamd "probes") die in de hersenen van de AI kijken, waren veel beter. Zij waren "gekalibreerd", wat betekent dat als ze zeiden dat ze voor 80% zeker waren, ze ook daadwerkelijk in 80% van de gevallen gelijk hadden. Dit waren de enige instrumenten die men kon vertrouwen om een veilige lijn te trekken tussen "automatiseren" en "een mens vragen".

2. Er is geen "One Size Fits All"-oplossing
De tweede ontdekking is dat je niet zomaar één "beste" instrument kunt kiezen en dat voor altijd kunt gebruiken. Het beste instrument verandert afhankelijk van wat de AI doet en welk AI-model je gebruikt. Het is als het zoeken naar het beste gereedschap in een gereedschapskist: een hamer is geweldig voor spijkers, maar verschrikkelijk voor schroeven.

• Wanneer de AI naar eenvoudige grafieken keek, werkte één instrument het best.
• Wanneer de AI complexe documenten las, was een ander instrument beter.
• Wanneer de taak in het Chinees was, veranderden de rangschikkingen weer.

De onderzoekers ontdekten dat geen enkel instrument de winnaar was in meer dan 8 van de 20 verschillende scenario's. Dit betekent dat als je gewoon naar een algemeen klassement kijkt en het "top" instrument kiest, je waarschijnlijk het verkeerde instrument kiest voor jouw specifieke taak. De betrouwbaarheid van de AI is geen globaal kenmerk; het is lokaal en chaotisch.

3. Het vaardigheidsniveau van de AI bepaalt de limiet
De derde bevinding gaat over hoeveel werk je daadwerkelijk aan de robot kunt geven. De onderzoekers vroegen zich af: "Hoeveel vragen kunnen we de robot automatisch laten beantwoorden voordat we moeten stoppen en de rest moeten controleren?" Ze ontdekten dat het antwoord vooral afhangt van hoe slim de robot van oorsprong al is.

• Bij de makkelijkste taken (zoals het lezen van een eenvoudige grafiek) kon de robot een redelijk deel van het werk aan als je het juiste betrouwbaarheidsinstrument gebruikte.
• Bij de moeilijkste taken (zoals complexe financiële documenten) was de robot zo vaak fout dat zelfs het beste betrouwbaarheidsinstrument het niet kon redden. De "veilige" hoeveelheid automatisering was bijna nul.

Het blijkt dat het betrouwbaarheidsinstrument een slechte robot niet goed maakt; het helpt je alleen te begrijpen wanneer de robot slecht is. Het instrument voegt waarde toe, vooral wanneer de robot worstelt, door je te helpen de fouten te vangen. Maar als de robot al de helft van de tijd fouten maakt, kan geen enkel instrument voor betrouwbaarheid het veilig maken om alleen te werken.

Het "Magische" Instrument dat de Leugen Ontmaskert

Een van de meest interessante instrumenten die de onderzoekers testten, werd BICR genoemd. Dit instrument heeft een speciale truc: het kan detecteren of de AI de afbeelding negeert en gewoon dingen verzint op basis van wat hij weet uit zijn training.
Stel dat de AI gevraagd wordt: "Wat is het hoogste punt op deze grafiek?" Als de AI oplet, kijkt hij naar de grafiek. Als de AI de grafiek negeert, kan hij op basis van gezond verstand gewoon een getal raden. Het BICR-instrument kan detecten wanneer de AI de grafiek negeert. Wanneer de AI probeert te antwoorden zonder naar de grafiek te kijken, verlaagt BICR de betrouwbaarheidsscore. Het is als een leugendetector die weet wanneer de robot gewoon een antwoord met mooie woorden "opblaast" in plaats van de werkelijke data te gebruiken. Dit is cruciaal, omdat de engste fout die een AI in de financiële wereld kan maken, een vloeiend en zelfverzekerd klinkend antwoord is dat niets met de werkelijke cijfers te maken heeft.

De Conclusie

Het artikel concludeert dat hoewel AI slimmer wordt, we nog niet klaar zijn om het vliegtuig alleen te laten vliegen. De vijf geteste AI-modellen zijn niet betrouwbaar genoeg om financiële grafieken en documenten zelfstandig te behandelen volgens de hoge veiligheidsnormen die in de financiële sector vereist zijn.

De beste aanpak voor nu is een "confidence-gated" systeem (met betrouwbaarheid als poortwachter). Dit betekent dat de AI het eenvoudige werk kan doen, maar dat er een "mens in de loop" moet zijn om het moeilijke werk te controleren. De AI mag alleen handelen wanneer de betrouwbaarheidsscore hoog is en het instrument dat dit controleert gekalibreerd (eerlijk) is. Als het instrument zegt: "Ik weet het niet zeker," of "De AI negeert de grafiek," moet het antwoord worden geëscaleerd naar een menselijke expert.

Kortom, de AI is een zeer snelle, zeer zelfverzekerde stagiair. Hij kan veel van het routinematige werk doen, maar je hebt een supervisor nodig die weet hoe hij de betrouwbaarheidsmeter van de stagiair moet lezen, zodat hij niet per ongeluk een miljoen dollar naar de verkeerde rekening overmaakt. De instrumenten om dit te doen bestaan, maar ze moeten zorgvuldig worden gekozen voor de specifieke taak, en ze kunnen een robot die simpelweg niet slim genoeg is voor de taak niet repareren.