Credit Cards, Confusion, Computation, and Consequences: What Can We Uncover About Language Model Reasoning?
Dit artikel introduceert CreditCardQA, een benchmark voor financiële geletterdheid gebaseerd op echte kredietkaartovereenkomsten, en toont aan dat hoewel Program-of-Thought prompting de prestaties van taalmodellen verbetert, hun primaire fouten voortkomen uit het verkeerd interpreteren van contractuele regels en randgevallen in plaats van rekenfouten, wat vaak onevenredig veel invloed heeft op financieel kwetsbare individuen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin je telefoon niet alleen met je chat, maar je ook echt helpt om je geld te beheren. Dit is de belofte van Kunstmatige Intelligentie (AI), specifiek een type genaamd Large Language Models (LLM's). Denk aan deze modellen als superlezers die bijna alles hebben verslonden wat er op het internet geschreven staat. Ze zijn geweldig in het schrijven van verhalen, coderen en het beantwoorden van algemene vragen. Maar als het gaat om wiskunde en logica, kunnen ze soms handelen als een student die de antwoorden op een oefentoets heeft uit het hoofd geleerd, maar in de war raakt wanneer de cijfers een klein beetje veranderen. Dit artikel stapt in de arena met hoge inzet van persoonlijke financiën en stelt een kritische vraag: kunnen deze AI-"superlezers" de verwarrende, regelzware wereld van creditcards werkelijk begrijpen, of zullen ze hun weg gissen naar een kostbare fout?
De onderzoekers introduceren een nieuwe uitdaging genaamd CREDITCARDQA, een enorme testbank van 1.800 vragen afgeleid van echte creditcardovereenkomsten. Deze overeenkomsten zijn de contracten met de kleine lettertjes die je tekent wanneer je een kaart krijgt, vol met regels over rentepercentages, boetes bij te late betaling en minimale betalingen. Het team testte verschillende AI-modellen om te zien of ze als een betrouwbare financieel adviseur konden optreden. Ze ontdekten dat hoewel AI steeds beter wordt, het nog steeds worstelt met de lastige "als-dan"-logica van contracten. Het goede nieuws? Wanneer de AI wordt gedwongen om een computercode te schrijven om de wiskunde op te lossen (een methode genaamd Program-of-Thought) in plaats van alleen door de antwoorden te chatten, wordt het aanzienlijk slimmer. De studie waarschuwt echter ook dat deze AI-modellen vaak de kleine, gevaarlijke details missen — zoals een boete voor een te late betaling — die mensen met de minste middelen het hardst kunnen raken.
Het verhaal van het papier: Creditcards, Verwarring en Code
De Opzet: Een Test van Financiële Slimheid
De auteurs, een team van Georgia Tech, bouwden een nieuwe benchmark om te zien hoe goed AI omgaat met echte financiële geletterdheid. Ze hebben niet zomaar nep-wiskundeproblemen bedacht; ze zijn diep gedoken in 27 echte creditcardovereenkomsten van grote banken zoals American Express, Discover en Barclays. Deze documenten zijn berucht moeilijk te lezen voor mensen, vaak geschreven op universitair niveau met dichte juridische jargon. Het team extraheerde 280 specifieke financiële termen en veranderde deze in 1.800 unieke vragen. Sommige vragen vroegen direct naar de wiskunde (bijv. "Als ik $4.000 verschuldigd ben, wat is mijn minimale betaling?"), terwijl andere in de eerste persoon waren geschreven, om de manier na te bootsen waarop een echt persoon zou vragen: "Hoeveel meer ga ik betalen als mijn saldo stijgt?"
Het Experiment: Chatten versus Coderen
Om de AI te testen, zetten de onderzoekers twee verschillende denkstijlen tegenover elkaar:
- Chain-of-Thought (CoT): Dit is alsof je de AI vraagt om "hardop na te denken". Het schrijft een paragraaf die de stappen uitlegt voordat het een antwoord geeft.
- Program-of-Thought (PoT): Dit is alsof je de AI vraagt om een Python-script te schrijven. In plaats van het antwoord te raden, schrijft de AI code om de wiskunde en de logica voor te berekenen.
Ze testten 11 verschillende AI-modellen, variërend van open-source modellen (zoals DeepSeek-R1, Qwen-QwQ en Llama 3.3) tot closed-source systemen (waaronder GPT-5, GPT-5-mini en Gemini 3.0 Pro).
De Grote Bevindingen
De resultaten waren een mix van hoop en voorzichtigheid.
- Coderen wint: De Program-of-Thought (PoT) methode versloeg consequent de "chat"-methode. Over de hele linie genomen verbeterde het dwingen van de AI om code te schrijven de nauwkeurigheid. Voor sommige modellen was deze boost enorm — tot wel 6,2% meer correcte antwoorden. Het lijkt erop dat wanneer de AI een financiële regel moet vertalen naar een strikte set instructies, het minder fouten maakt.
- Open versus Closed: De beste presteerders waren een mix van open en closed systemen. Het open-weight model GPT-OSS 120B presteerde zo goed dat het concurreerde met en zelfs licht presteerde boven vooraanstaande closed-source modellen zoals GPT-5 en Gemini 3.0 Pro, specifiek wanneer de Program-of-Thought methode werd gebruikt. Dit suggereert dat sterke open-weight systemen een state-of-the-art prestatie kunnen leveren, waardoor de kloof tussen open en closed systemen kleiner wordt.
- De "Eerste Persoon" Boost: Interessant genoeg deed de AI het beter wanneer vragen in de eerste persoon werden geformuleerd ("Hoeveel zal ik verschuldigd zijn?") in plaats van de derde persoon ("Hoeveel zal een klant verschuldigd zijn?"). De auteurs suggereren dat dit komt omdat AI-modellen vooral getraind zijn op gesprekken waarbij mensen direct om hulp vragen, waardoor ze deze stijl beter herkennen.
Waar de AI Struikelt
De onderzoekers groeven diep in de foute antwoorden om te zien waarom de AI faalde. Het was meestal niet omdat de AI geen basiswiskunde kon doen.
- De Werkelijke Dader: De grootste fouten kwamen voort uit het verkeerd toepassen van regels. De AI vond de juiste getallen, maar gebruikte de verkeerde formule. Bijvoorbeeld, het zou rente kunnen berekenen met een simpel tarief terwijl het contract een samengestelde rente vereiste, of het zou een regel over een "minimumtarief" kunnen vergeten dat alleen onder specifieke omstandigheden van kracht wordt.
- De Gevaarlijke Zone: De AI had de meeste moeite met "edge cases" — scenario's die te maken hebben met te late betalingen, kleine saldi of boetes. Dit zijn precies de situaties die financieel kwetsbare mensen het hardst treffen. Als een AI een gebruiker vertelt dat hij geen boete voor te late betaling zal krijgen terwijl dat wel het geval is, zijn de gevolgen reëel en pijnlijk.
- De "Vergelijking" Valstrik: Vragen die vereisten het vergelijken van twee verschillende opties (zoals "Is de $5 boete of de 5% boete hoger?") waren het moeilijkst voor de modellen. De AI raakte vaak de draad kwijt in de logica van het kiezen tussen concurrerende regels.
Wat dit Betekent
Het artikel concludeert dat hoewel AI een krachtig hulpmiddel is, het nog niet klaar is om een zelfstandige financieel adviseur te zijn. De "broosheid" in de redenering betekent dat het gemakkelijk de kleine lettertjes kan missen die consumenten beschermen. De auteurs suggereren dat ontwikkelaars zich moeten richten op methoden zoals Program-of-Thought om AI betrouwbaarder te maken. Ze stellen ook dat creditcardbedrijven hun overeenkomsten op een meer "AI-leesbare" manier zouden kunnen herschrijven, om ervoor te zorgen dat de tools die mensen gebruiken om hun financiën te begrijpen, niet struikelen over verwarrende juridische taal.
Kortom, AI kan de wiskunde doen, maar het heeft nog steeds een mens nodig om de regels te controleren. Totdat het beter wordt in het begrijpen van de "als-dan"-logica van contracten, moeten we voorzichtig zijn met het overlaten van onze belangrijkste financiële beslissingen aan de AI.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.