Benchmarking Real-Time Question Answering via Executable Code Workflows

Titel: Benchmarking Real-Time Question Answering via Executable Code Workflows

Auteurs: Wenjie Zhou, Yuan Gao, Xin Zhou, et al. (Li Auto Inc. & Minzu University of China)

---

1. Het Probleem

Bestaande benchmarks voor Large Language Models (LLMs) en zoek-integrerende agenten zijn overwegend statisch. Ze vertrouwen op vooraf gedefinieerde vraag-antwoordparen die niet veranderen. Dit leidt tot twee fundamentele tekortkomingen bij het evalueren van real-time vaardigheden:

• Datalek (Data Leakage): Modellen kunnen antwoorden uit hun trainingsgeheugen halen in plaats van daadwerkelijk te zoeken.
• Verouderde Kennis (Knowledge Obsolescence): Feiten veranderen (bijv. beurskoersen, weer, nieuws), waardoor de "ground truth" (het juiste antwoord) in statische benchmarks snel verouderd en ongeldig wordt.

Bestaande dynamische benchmarks updaten vaak maandelijks of jaarlijks, maar kunnen geen vragen beantwoorden over gebeurtenissen die vandaag of nu plaatsvinden. Er is een kritiek gat in de evaluatie van agenten op informatie van het open web waar geen directe API's beschikbaar zijn.

2. Methodologie: RT-QA Framework

De auteurs introduceren RT-QA, een dynamisch evaluatiekader dat verschuift van "Static Answers" naar "Executable Code Workflows".

A. Kerninnovatie: Uitvoerbare Workflows

In plaats van een statische tekst als antwoord op te slaan, bestaat elk testitem in RT-QA uit:

1. Een vraag ($q_\tau$) met relatieve tijdsbeperkingen (bijv. "gisteren", "de afgelopen 7 dagen").
2. Een Python-workflow ($w_\tau$) die als dynamisch scripts fungeert.

Het grondwaarheid-antwoord wordt niet vooraf bepaald, maar dynamisch gegenereerd op het exacte moment van evaluatie via de formule:
$$a_t = \text{Exec}(w_\tau, t)$$
Dit proces omvat:

• Temporele Resolutie: Omzetten van relatieve termen naar absolute data op basis van de huidige tijd $t$.
• Live Retrieval: Navigeren naar doelwebsites via een headless browser.
• DOM Parsing: Het analyseren van ongestructureerde HTML-elementen om het specifieke antwoord te extraheren.

B. De RT Agent en Bouwpiplijn

Om deze workflows te creëren, gebruiken de auteurs een Agent-in-the-Loop benadering:

• Generatie: Een LLM (de RT Agent) analyseert de structuur van een website (DOM), plant een strategie en schrijft Python-code (met tools zoals Playwright) om de data te extraheren.
• Zelfherstel (Self-Repair): Websites veranderen vaak van structuur. Als een workflow faalt, analyseert een "Repair Agent" de nieuwe DOM, identificeert de wijziging en repareert de code autonoom.
• Validatie: De gegenereerde code wordt uitgevoerd en het resultaat wordt visueel en tekstueel geverifieerd tegen menselijke verwachtingen.

C. Dataset Specifics

• Omvang: 320 vragen in het Chinees over 12 domeinen (Financiën, Sport, Weer, etc.).
• Niveaus van Complexiteit:
  • L1 (Direct): Eén stap zoeken (bijv. "Wat is de temperatuur in Beijing?").
  • L2 (1-Hop): Eerst een entiteit identificeren via een historisch feit, dan real-time data ophalen (bijv. "Welke stad hostte de HICOOL-top in 2025? Wat is de temperatuur daar nu?").
  • L3 (2-Hop+): Meerdere redeneringsstappen en tijdsafhankelijkheden.

3. Belangrijkste Bijdragen

1. Eerste Benchmark met Uitvoerbare Ground Truth: RT-QA is de eerste benchmark die gebruikmaakt van uitvoerbare code om real-time grondwaarheid te genereren, waardoor datalek en veroudering worden geëlimineerd.
2. RT Agent Framework: Een geautomatiseerd systeem voor het genereren en onderhouden van deze benchmarks, inclusief een zelfherstellend mechanisme voor webstructuurwijzigingen.
3. Gedetailleerde Foutanalyse: Een taxonomie van falen gebaseerd op meer dan 7.000 agent-trajecten, die specifieke cognitieve en retrieval-fouten blootlegt.

4. Resultaten en Analyse

De auteurs hebben 8 toonaangevende modellen (inclusief GPT-5.2, GLM-4.7, Claude-4.5) getest. De resultaten waren alarmerend:

• Lage Algemene Nauwkeurigheid: Zelfs de beste modellen behaalden slechts ~46% nauwkeurigheid. De meeste open-source modellen bleven onder de 40%.
• Twee Dominante Falingsmodi:
  1. Lazy Retrieval (20% van de fouten): Agenten vertrouwen op zoekresultaat-snippets in plaats van de daadwerkelijke website te bezoeken en diep te scannen. Ze missen vaak de specifieke informatie die alleen op de bronpagina staat.
  2. Temporele Verwarring (Temporal Confusion): Dit is een cognitieve fout waarbij agenten een historische datum (bijv. uit een eerdere zoekstap) verwarren met de "huidige tijd". Ze falen in het opnieuw verankeren van de tijd voor de volgende redeneringsstap.
• De "U-vorm" van Prestaties: Verrassend genoeg presteerden modellen vaak slechter op L2-taken (intermediate) dan op L3-taken (complex).
  • Reden: Bij L2-taken worden agenten "vastgezet" op een historisch feit en vergeten ze terug te keren naar de huidige tijd. Bij L3-taken dwingt de complexiteit van de taak de agent tot een strengere planning en expliciete scheiding van tijdsvariabelen, wat leidt tot betere prestaties.
• Oplossing voor Temporele Verwarring: Door een strikte "Time Anchor" instructie toe te voegen aan de prompt, steeg de nauwkeurigheid van L2-taken aanzienlijk, wat bevestigt dat het probleem ligt in tijdsbeheer en niet in de moeilijkheidsgraad van de taak.

5. Betekenis en Conclusie

Het paper concludeert dat huidige agenten, hoewel uitstekend in statische redenering, kwetsbaar zijn in dynamische omgevingen. Het simpelweg verbeteren van zoektools is niet voldoende.

• Toekomstige Richting: Agenten hebben behoefte aan robuust tijdsstatemanagement (temporal state management) en diepere zoekstrategieën (geen "lazy retrieval").
• Paradigmaverschuiving: Agenten moeten evolueren van simpele zoekers naar proactieve onderzoekers die informatie actief verifiëren en beheren.
• Open Infrastructuur: RT-QA wordt vrijgegeven als een uitbreidbaar framework, waarmee de gemeenschap live benchmarks kan creëren zonder handmatige codering, wat de overgang van chatbots naar betrouwbare real-time assistenten versnelt.

De code en data zijn beschikbaar via de GitHub-repository van de auteurs.