🤖 AI

How Do Tool-Augmented LLM Agents Perform on Real-World Energy Analytics Tasks?

Dit artikel presenteert een empirische studie die de prestaties van door tools versterkte LLM-agenten evalueert op 243 door experts samengestelde, real-world energie marktanalysetaken — variërend van live data-retrieval tot kwantitatieve modellering — met behulp van een multidimensionaal scoringsprotocol om te beoordelen hoe modelcapaciteiten en domeinspecifieke tools interageren in situaties met een hoog belang voor professionals.

Oorspronkelijke auteurs: David Akinpelu, Akintonde Abbas, Rereloluwa Alimi, Ayodeji Lana

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: David Akinpelu, Akintonde Abbas, Rereloluwa Alimi, Ayodeji Lana

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de energiesector (elektriciteitsmarkten, regelgeving en elektriciteitsnetten) voor als een enorme, chaotische bibliotheek waar de boeken voortdurend veranderen, de prijzen met onzichtbare inkt zijn geschreven en de regels zijn geschreven in een taal die slechts een paar experts begrijpen.

Lange tijd was AI als een zeer slimme student die de catalogus van de bibliotheek perfect kan onthouden, maar die niet echt de boeken kan gaan zoeken, de kleine lettertjes kan lezen of de wiskunde kan doen om uit te rekenen of een elektriciteitscentrale winst maakt.

Dit artikel, getiteld "How Do Tool-Augmented LLM Agents Perform on Real-World Energy Analytics Tasks?", is een rapportcijfer voor een nieuw soort AI-student. Deze studenten zijn niet alleen bezig met het onthouden van feiten; ze zijn uitgerust met een gereedschapskist (zoals een set sleutels, rekenmachines en zoekmachines) waarmee ze live data kunnen ophalen, echte regelgeving kunnen lezen en complexe financiële modellen kunnen draaien.

Hier is de uitsplitsing van wat de onderzoekers hebben gedaan en wat ze hebben gevonden, met behulp van eenvoudige analogieën:

1. De Test: Een "Real-World" Hindernisbaan

De onderzoekers stelden de AI niet alleen simpele trivia-vragen zoals "Wat is de hoofdstad van Texas?" (wat makkelijk te onthouden is). In plaats daarvan bouwden ze een hindernisbaan van 243 vragen die is ontworpen door echte energie-experts met decennia aan ervaring.

De cursus had drie soorten uitdagingen:

De Detective (Data Retrieval): "Zoek de elektriciteitsprijs in Houston van afgelopen dinsdag om 14:00 uur."
De Advocaat (Knowledge Interpretation): "Lees dit 50 pagina's tellende overheidsregelboek en vertel me precies hoeveel een batterijbedrijf moet betalen om zich aan te sluiten op het net."
De Accountant (Quantitative Modeling): "Als ik hier een batterij bouw, en de elektriciteitsprijzen schommelen de komende 15 jaar op deze manier, maak ik dan winst? Bereken het exacte getal."

De taken varieerden van Makkelijk (een getal vinden) tot Moeilijk (een meerstaps financiële puzzel oplossen met strikte regels).

2. De Deelnemers: Zeven AI-"Hersenen"

Ze testten zeven verschillende AI-modellen (sommige gemaakt door grote techbedrijven zoals OpenAI en Google, en andere zijn open-source).

De Opstelling: Ze gaven deze AI's een "rugzak" met negen specifieke tools. Deze tools bevatten onder andere live verbindingen met elektriciteitsmarkten, databases met tarieven van nutsbedrijven en code-runners om de wiskunde te doen.
De Regel: De AI's moesten deze tools gebruiken om de problemen op te lossen, in plaats van te gokken op basis van wat ze zich herinnerden.

3. Het Beoordelingssysteem: Niet Alleen "Goed of Fout"

De onderzoekers controleerden niet alleen of het eindgetal klopte. Ze gaven de AI's een cijfer op drie punten, als een strenge leraar:

Aanpak (Dachten ze als een pro?): Kozen ze de juiste tools en gebruikten ze die in de juiste volgorde? Als een AI het juiste antwoord kreeg maar de data gokte in plaats van deze op te zoeken, verloren ze punten.
Nauwkeurigheid (Kregen ze de feiten goed?): Was het getal correct? Gebruikten ze de juiste tijdzone en de juiste staat?
Brongeldigheid (Hebben ze vals gespeeld?): Verwezen ze naar het echte document dat ze gelezen hebben, of bedachten ze een nep-regelboek?

4. De Resultaten: Het Goede, Het Slechte en het "Bijna"

Dit is wat er gebeurde toen de AI's de test aflegden:

De "Slimste" Studenten: De closed-source modellen (zoals Gemini-3.1-Pro en GPT-5.2) presteerden het best, met ongeveer 60% van de antwoorden correct. Het beste open-source model (Kimi-K2.5) haalde ongeveer 49%.
- De Kanttekening: Zelfs de beste student miste bijna de helft van de vragen. Dit betekent dat AI weliswaar nuttig is, maar nog niet klaar is om menselijke experts te vervangen.
De "Planning vs. Uitvoering" Kloof: Opvallend genoeg waren de AI's best goed in het plannen (ze scoorden hoog op "Aanpak"). Ze wisten welke tool ze moesten kiezen. Maar ze faalden vaak in het perfect uitvoeren van het plan (ze kregen het verkeerde getal of de verkeerde datum). Het is als een chef die precies weet welke ingrediënten hij moet kopen, maar de biefstuk laat aanbranden tijdens het koken.
Het "Hallucinatie"-Probleid: De AI's waren slecht in het citeren van hun bronnen. Ze vergaten vaak te vermelden: "Ik heb dit gevonden in het regelboek van 2024", of ze bedachten fictieve documentnamen. In de echte wereld, als je niet kunt bewijzen waar je data vandaan komt, kun je het antwoord niet vertrouwen.
Het "Tool"-Effect: Toen de onderzoekers de tools weghaalden en de AI's vroegen de problemen vanuit hun geheugen op te lossen, daalde de score met de helft. Dit bewijst dat voor energie-taken het hebben van de tools belangrijker is dan alleen een slim brein hebben.
De "Geheugen"-Limiet: Sommige modellen faalden omdat de vragen te lang en complex waren, waardoor hun "kortetermijngeheugen" (context window) volliep. Ze vergaten de eerste stap van het probleem tegen de tijd dat ze bij de laatste stap waren.

5. De Belangrijkste Conclusie

Het artikel concludeert dat AI-agents krachtige assistenten zijn, maar nog geen onafhankelijke experts.

Denk aan een junior analist die een supercomputer heeft en toegang heeft tot elke bibliotheek ter wereld. Ze kunnen het zware werk doen en de data snel vinden. Echter, ze hebben nog steeds een senior expert (een mens) nodig om hun werk te controleren, te controleren of ze geen regel hebben verzonnen, en de uiteindelijke berekening te verifiëren.

De onderzoekers hebben al hun testvragen, de tools en de resultaten openbaar gemaakt zodat andere wetenschappers betere "studenten" voor de toekomst kunnen bouwen. Ze zijn van plan deze test in de volgende ronde uit te breiden naar andere landen en andere soorten energie (zoals olie of gas).

Technische Samenvatting: Hoe presteren Tool-Augmented LLM-agenten op Real-World Energie-analytische Taken?

Probleemstelling

Hoewel agentische benchmarks volwassen zijn geworden in domeinen zoals finance, coderen, recht en drug discovery, blijft de energiesector kritiek onderbediend. Bestaande evaluaties in de energiesector zijn grotende walls beperkt tot statische kennisreproductie (bijv. meerkeuzevragen) of voorspellende taken zoals belastingvoorspelling op basis van historische gegevens. Er is een aanzienlijke kloof in het evalueren of Large Language Model (LLM) agenten eind-tot-eind, meerstaps analytische workflows kunnen uitvoeren onder real-world beperkingen. Deze workflows vereisen live data-extractie uit ISO/RTO-markten, interpretatie van complexe regelgevende documenten en kwantitatieve modellering voor asset-optimalisatie—taken waarbij fouten materiële financiële en operationele gevolgen hebben. Huidige benchmarks falen in het beoordelen van de interactie tussen modelcapaciteit en domeinspecifieke tooling in hoogwaardige professionele omgevingen.

Methodologie

De auteurs introduceren EnergyEvals, een empirische studie en evaluatiekader ontworpen om tool-augmented LLM-agenten te beoordelen op real-world energie-analytische taken.

1. Benchmark Dataset

De studie maakt gebruik van een corpus van 243 expert-gecureerde taken, ontwikkeld door professionals met een promotiegraad en meer dan 25 jaar gecombineerde ervaring in de sector (bijv. van McKinsey, GE, ICF). De taken zijn gestratificeerd in drie capaciteitsgebieden en drie moeilijkheidsgraden (Easy, Medium, Hard):

Marktdata Extractie en Analyse (Data): Extractie en aggregatie van live prijzen, ancillary services en dispatch-data van ISO/RTO API's.
Kennisextractie en Interpretatie (Knowledge): Navigatie door regelgevende dossiers, utility-tarieven en aansluitingshandleidingen om procedurele vragen te beantwoorden.
Geavanceerde Kwantitatieve Modellering (Quant): Meerstaps financiële modellering, inclusioneel batterij-omzetraming, IRR-berekening en optimalisatie onder operationele beperkingen.

Een uniek ontwerpkenmerk is de gepaarde prompt-constructie, waarbij taken beschikbaar zijn met en zonder expliciete bronspecificaties om de impact van source scaffolding te evalueren.

2. Agent Architectuur en Tool Suite

Agenten zijn geïmplementeerd met een ReAct-framework (Thought $\to$ Action $\to$ Observation), wat iteratieve redenering en tool-invocatie mogelijk maakt. De omgeving biedt toegang tot een configureerbare suite van negen domeinspecifieke tools, waaronder:

Live elektriciteitsmarkt-API's voor grote Amerikaanse ISO's.
Regelgevende dossierzoekopdrachten en utility-tariefdatabases.
Asset-optimalisatiemodellen (bijv. batterij-omzet, simulatie van hernieuwbare generatie).
Retrieval-augmented generation (RAG) over marktdocumenten.

3. Evaluatieprotocol

Prestaties worden beoordeeld via een multidimensionaal protocol met behulp van een LLM-as-a-judge framework (gekalibreerd met menselijke expert-review) over drie dimensies:

Approach Correctness (1–5): Evalueert de logische sequencing van tool calls en de afstemming met professionele analistenstrategieën.
Answer Accuracy / Attribute Alignment (0–1): Meet feitelijke juistheid en naleving van beperkingen (temporeel, geografisch, eenheden). Voor kwantitatieve taken houdt dit een tolerantie-gebaseerde vergelijking in; voor kwalitatieve taken betreft dit het matchen van specifieke attributen.
Source Validity (1–5): Bestraft gehallucineerde citaten, gefabriceerde documentversies of het vertrouwen op ongepaste bronnen.

De studie evalueert zeven frontier LLM's (vier closed-source: GPT-5.2, GPT-5-mini, Gemini-3.1-Pro, Claude Sonnet 4.6; drie open-source: Kimi-K2.5, Qwen3-Max-Thinking, DeepSeek-V3.2) onder low-reasoning-effort configuraties om kostengeconstreinde professionele omgevingen te simuleren.

Belangrijkste Resultaten

De evaluatie van de zeven modellen onthult verschillende cruciale inzichten met betrekking tot de staat van agentische systemen in de energie-domein:

Prestatiekloof: Closed-source modellen presteren over het algemeen beter dan open-source modellen. Gemini-3.1-Pro behaalde de hoogste nauwkeurigheid (62%), gevolgd door GPT-5.2 (57%) en Claude Sonnet 4.6 (56%). Het beste open-source model, Kimi-K2.5, scoorde 49%, hoewel dit tegen aanzienlijk lagere kosten werd gedaan (58% van de kosten van GPT-5.2).
Planning vs. Executie: Hoewel modellen over het algemeen een redelijke Approach Correctness vertonen (scores van ~3.4–3.9 van 5), is er een duidelijk gat tussen het voorstellen van een geldige analytische strategie en het uitvoeren ervan met een hoge nauwkeurigheid. Dit suggereert dat hoewel modellen kunnen redeneren over hoe een probleem op te lossen, betrouwbare executie diepere domeinspecifieke kennis vereist om workflows te structureren en data te valideren.
Tekort in Source Validity: De scores voor bronattributie waren over het algemeen laag bij alle modellen. Modellen faalden frequent in het citeren van bronnen of hallucineerden documentversies, wat aangeeft dat betrouwbare bronverwijzing nog geen emergent gedrag is en expliciete prompting of deskundige begeleiding vereist.
Impact van Context Windows: Modellen met kortere context windows (bijv. DeepSeek-V3.2, Kimi-K2.5) vertoonden aanzienlijk hogere foutpercentages (tot 20,2%) door contextbeperkingen of clarification loops, terwijl modellen met grotere windows (400k+ tokens) foutpercentages onder de 3,2% hielden.
Noodzaak van Tools: Het verwijderen van domeinspecifieke tools resulteerde in een drastische daling van de prestaties. In sommige gevallen werden de nauwkeurigheidsscores gehalveerd wanneer agenten werden gedwongen te vertrouwen op interne kennis in plaats van live tools, wat de kritieke afhankelijkheid van externe dataretrieval voor energie-analyse onderstreept.
Token Efficiëntie: Een hoger tokenverbruik correleerde niet met betere prestaties; sommige minder presterende modellen verbruikten aanzienlijk meer tokens, terwijl top performers varieerden in efficiëntie.

Betekenis en Claims

Het artikel claimt dat EnergyEvals de eerste benchmark is die tool-augmented agenten rigoureus evalueert op real-world energie-analytische workflows, waarbij wordt bewogen van statische reproductie naar dynamische, meerstaps probleemoplossing.

De auteurs stellen dat hoewel tool-augmented agenten specifieke energie-taken kunnen aanpakken, deskundige begeleiding essentieel blijft om de kloof te overbruggen tussen "over het algemeen goede" prestaties en "uitzonderlijk inzichtelijke" resultaten. De studie benadrukt dat huidige frontier modellen, zelfs wanneer ze zijn uitgerust met tools, worstelen met source validity en complexe workflow orchestratie zonder human-in-the-loop toezicht.

Het werk draagt een publiekelijk vrijgegeven dataset, evaluatiekader, scoring code en execution traces bij om reproduceerbaarheid te ondersteunen. De auteurs positioneren dit als een fundamentele stap, waarbij toekomstige iteraties gepland zijn om geografisch verder te gaan dan de VS, extra energie-subdomeinen te dekken en hogere reasoning-configuraties te verkennen.