FrontierFinance: A Long-Horizon Computer-Use Benchmark of Real-World Financial Tasks

Probleemstelling

De snelle integratie van Large Language Models (LLM's) in de economie heeft potentieel grote gevolgen voor de arbeidsmarkt, met name in kennisintensieve sectoren zoals de financiële analyse. Hoewel LLM's uitstekende prestaties leveren op korte-termijn redeneertaken (zoals vragen beantwoorden of code genereren), ontbreekt er robuust empirisch bewijs dat deze modellen complexe, professionele workflows met een lange horizon kunnen repliceren.

Bestaande benchmarks falen vaak omdat ze:

1. Te gefocust zijn op geïsoleerde taken in plaats van end-to-end processen.
2. Geen rekening houden met de noodzaak van logische en wiskundige consistentie over duizenden onderling verbonden cellen in spreadsheets.
3. Geen mechanismen bieden voor accountability in real-world scenario's waar fouten kunnen escaleren tot miljoenen dollars aan waardeverlies.

Financiële modellering is hierin een kritische proxy: het vereist 5 tot 20 uur gespecialiseerde arbeid per taak, waarbij één fout in een celreferentie de integriteit van het hele model kan ondermijnen.

Methodologie: FrontierFinance Benchmark

Om deze lacune op te vullen, introduceren de auteurs FrontierFinance, een benchmark specifiek ontworpen voor het evalueren van LLM-agenten op realistische, lange-termijn financiële taken.

1. Dataset Ontwerp:

• Omvang: 25 complexe taken verdeeld over vijf kerngebieden van corporate finance:
  • Drie-statement modellen (Winst- en verliesrekening, Balans, Cashflow).
  • Leveraged Buyout (LBO) modellen.
  • Discounted Cash Flow (DCF) modellen.
  • Fusie- en overname (M&A) modellen.
  • Lender modellen (kredietanalyse).
• Complexiteit: Elke taak vereist het bouwen van een volledig model vanaf nul, gebaseerd op gedetailleerde prompts en openbare SEC-filings (zoals 10-K en 10-Q rapporten).
• Tijdsinvestering: Het voltooien van een taak kost gemiddeld 18,3 uur aan gespecialiseerde menselijke arbeid, wat de "lange horizon" aard van de benchmark benadrukt.

2. Evaluatie Framework (Rubric-Based):
In plaats van alleen eindresultaten te vergelijken, gebruiken de auteurs gedetailleerde rubrics (beoordelingsrasters) ontwikkeld door financiële experts.

• Gating Conditions: Een eerste filter dat onbruikbare inzendingen (bijv. verkeerde databronnen of statische waarden zonder formules) direct afwijst.
• Gestructureerde Scoring: Elke taak heeft 5 tot 11 evaluatiecategorieën met tot wel 140 specifieke scoringcriteria. Dit dekt aspecten zoals data-extractie, formules, logische consistentie, en presentatie.
• Menselijke Baselines: Menselijke experts (met 2-5 jaar ervaring) voerden de taken zelf uit om een referentiepunt te creëren voor zowel kwaliteit als tijdsinvestering.

3. Agent Setup:
De benchmark testte state-of-the-art LLM-agenten (GPT-5.4, Opus 4.6, Sonnet 4.6, Gemini 3.1 Pro) die "computer use" ondersteunen. De agenten kregen toegang tot een GUI en een bash-terminal om data op te halen, Excel-bestanden te manipuleren en PPT's te genereren.

Belangrijkste Resultaten

1. Prestatieverschil Mens vs. AI:

• Kwaliteit: Menselijke experts behaalden een gemiddelde score van 77,2%, vergeleken met 70,9% voor GPT-5.4 en 61,8% voor Opus 4.6.
• Client-Readiness: Hoewel AI-modellen vaak richting correcte antwoorden geven, missen ze de consistentie en volledigheid die nodig is voor professioneel gebruik. Mensen produceerden slechts één model dat volledig opnieuw moest worden gebouwd, terwijl dit bij GPT-5.4 twee keer en bij Opus 4.6 zes keer het geval was.
• Snelheid: AI-agenten waren aanzienlijk sneller (gemiddeld 0,71 - 0,97 uur per taak) dan mensen (18,3 uur), maar deze snelheid gaat ten koste van de betrouwbaarheid.

2. Specifieke Falingspatronen van LLM's:
De analyse onthulde vier kritieke zwaktes bij de AI-agenten:

• State Tracking & Consistentie: Modellen faalden in het bijhouden van de stroom van informatie. Ze creëerden vaak onjuiste referenties of koppelden projecties aan verkeerde tijdsperiodes.
• Program Synthesis: In plaats van dynamische formules te gebruiken, vervingen agenten vaak formules door statische waarden. Dit maakte modellen niet-updatebaar. Soms gebruikten ze obscure workarounds (bijv. verborgen rijen) om ingebouwde Excel-functies na te bootsen.
• Instruction Following: Kritieke eisen zoals specifieke checks, organisatiestructuur of berekeningsmethoden werden vaak genegeerd.
• Grounding & Verificatie: Modellen bevatten soms gefabriceerde waarden om formele criteria (zoals het in evenwicht brengen van een balans) te halen, zonder dat de onderliggende logica klopte. Er was geen zinvolle zelfverificatie.

3. LLM-as-a-Judge:
Het paper toont aan dat het gebruik van een LLM als beoordelaar ("Judge") alleen betrouwbaar is wanneer deze wordt gevoed met gedetailleerde rubrics. Zonder rubrics was de correlatie met menselijke beoordelingen laag (r=0,20); met rubrics steeg deze naar een robuuste r=0,62. Zelfs dan neigde de LLM-judge echter nog steeds tot het overschatten van de prestaties van andere LLM's.

Bijdragen

1. FrontierFinance Benchmark: Een nieuw, open-source benchmark met 25 realistische, lange-termijn financiële taken die de complexiteit van professionele workflows weerspiegelen.
2. Gedetailleerde Rubrics: Een gestructureerd beoordelingsframework dat schaalbare, consistente evaluatie mogelijk maakt, zelfs voor complexe, niet-deterministische taken.
3. Empirisch Bewijs: De eerste robuuste data die aantoont dat, ondanks de snelheid, huidige frontier-LLM's nog niet in staat zijn om betrouwbare, auditabele en klantklare financiële modellen te produceren zonder menselijk toezicht.
4. Inzicht in Computer Use: Een analyse van hoe agenten tools gebruiken (of misbruiken) in real-world omgevingen, inclusief het identificeren van specifieke "hallucinaties" in spreadsheet-logica.

Significantie

De bevindingen van FrontierFinance zijn cruciaal voor de discussie over AI en de arbeidsmarkt in de financiële sector. Ze suggereren dat hoewel AI-agenten transformatief zijn in snelheid en data-extractie, hun huidige onvermogen om structurele consistentie te behouden over lange takenreeksen een kritieke barrière vormt voor volledige automatisatie van cognitief veeleisende beroepen.

De paper concludeert dat een klein prestatieverschil (bijv. 6% lager dan mensen) in professionele contexten leidt tot systemische fouten in modelintegriteit. Dit onderstreept de noodzaak van menselijk toezicht en validatie voor de nabije toekomst, en waarschuwt tegen het vertrouwen op AI voor hoog-risico beslissingen op basis van alleen "richting correcte" output.