Each language version is independently generated for its own context, not a direct translation.
Stel je voor dat je een financieel detective bent die een heel groot, digitaal archief moet doorzoeken om een heel specifiek cijfer te vinden. Misschien wil je weten hoeveel geld Apple vorig jaar heeft verdiend, of hoeveel schuld een bedrijf in Japan heeft.
Vroeger deden AI's dit door het hele internet af te zoeken, net als iemand die elke krant in de bibliotheek doorbladert. Soms vinden ze het wel, maar vaak raken ze verdwaald in de massa van informatie.
De auteurs van dit paper (Eric Y. Kim en Jie Huang van Daloopa) hebben een nieuwe testbedacht, genaamd FinRetrieval. Ze wilden weten: Kunnen deze AI-detectives nu niet alleen zoeken, maar ook direct de juiste schatkist openen waar de getallen perfect opgeslagen liggen?
Hier is wat ze hebben ontdekt, vertaald in begrijpelijke taal:
1. De Sleutel is de "Sleutel", niet de "Detective"
De grootste verrassing in hun onderzoek is dat het niet uitmaakt welke AI je gebruikt, maar welk gereedschap die AI heeft.
- De Analogie: Stel je hebt twee detectives. De ene is een supergeniaal detective (zoals de slimste AI van Google of OpenAI), de andere is iets minder slim (zoals een oudere versie van Claude).
- Als je ze alleen een verrekijker geeft om door het internet te kijken (Web Search), kan de supergeniale detective het cijfer vinden, maar de andere blijft steken in de war.
- Maar als je ze beiden een sleutel geeft die direct de kluis opent met de exacte cijfers (een speciale database-API), dan vinden beide detectives het antwoord bijna perfect.
- Het resultaat: De slimste AI (Claude) viel van 91% goed naar slechts 20% goed als je de sleutel (de database) wegnam en alleen de verrekijker (internet) liet. Dit betekent: voor financiële cijfers is de verbinding met de juiste database veel belangrijker dan hoe slim de AI zelf is.
2. "Nadenken" helpt niet altijd
Er is een populaire trend waarbij AI's eerst "diep nadenken" voordat ze antwoorden (zogenaamde 'reasoning mode'). Je zou denken: hoe meer nadenken, hoe beter.
- De Analogie: Stel je voor dat je een weg moet vinden.
- Een beginner (zoals de basisversie van OpenAI) loopt vaak de verkeerde kant op en zoekt veel rond. Als je hem laat nadenken voordat hij loopt, vindt hij de weg veel sneller.
- Een ervaren gids (zoals de basisversie van Claude) weet al precies welke weg hij moet nemen. Als je hem laat nadenken, kost dat alleen maar tijd, maar het maakt hem niet veel slimmer.
- Het resultaat: De "nadenk-modus" gaf OpenAI een enorme boost, maar voor de al slimme Claude was het winst heel klein. Het nadenken vult alleen de gaten op die de AI al had.
3. De "Eerste Poging" is allesbepalend
Als de AI de juiste weg in het begin kiest, is het antwoord bijna altijd goed. Als ze de verkeerde weg inslaan, raken ze in een cirkel van zoeken en worden ze onzeker.
- De Analogie: Het is als het zoeken naar een parkeerplaats. Als je direct de juiste plek ziet, parkeer je perfect. Als je eerst drie keer de verkeerde straat inrijdt, begin je te twijfelen en parkeer je misschien wel verkeerd, zelfs als je de plek later ziet.
- Het probleem: Vaak faalt de AI niet omdat ze niet slim zijn, maar omdat ze de tijdsnaam verkeerd interpreteren.
4. Het "Kalender-probleem"
Een groot deel van de fouten kwam door een simpele verwarring over tijd.
- De Analogie: In Nederland en de VS eindigt het jaar vaak op 31 december. Maar in Japan eindigt het jaar vaak op 31 maart. Als je vraagt om de cijfers van "2023", denkt een Amerikaanse AI dat je de periode januari-december 2023 bedoelt. Een Japanse company heeft echter een boekjaar dat loopt van april 2022 tot maart 2023.
- Het resultaat: De AI's dachten dat ze het juiste jaar hadden, maar omdat ze de "financiële kalender" van dat land niet kenden, haalden ze de verkeerde cijfers op. Dit is geen fout van de AI, maar een fout in de regels die ze kregen.
Conclusie: Wat betekent dit voor de toekomst?
De boodschap van dit onderzoek is heel duidelijk:
Om AI's echt goed te laten werken in de financiële wereld, moeten we stoppen met proberen ze "slimmer" te maken door ze te laten nadenken. In plaats daarvan moeten we ze beter gereedschap geven.
Als je een AI koppelt aan een betrouwbare database en de regels voor tijdsperiodes (zoals "boekjaar" vs "kalenderjaar") duidelijk uitlegt, kun je al 90% van de problemen oplossen. De slimheid van de AI zelf is dan minder belangrijk dan de kwaliteit van de sleutel die je hem geeft.
Kortom: Geef de detective de juiste sleutel en een duidelijke kaart, en hij vindt de schat wel. Laat hem niet urenlang nadenken terwijl hij zonder sleutel voor de deur staat.