Technische Samenvatting: De Trade-off tussen Snelheid en Diepte in Epistemische Agenten voor ARC-AGI-3

1. Probleemstelling

Het artikel adresseert de uitdaging van interactieve regelinductie binnen de ARC-AGI-3-benchmark. In tegenstelling tot statische benchmarks plaatst ARC-AGI-3 agenten in nieuwe, beurtelings spelende omgevingen waar de regels en wincondities verborgen zijn. Agenten moeten deze regels ontdekken door interactie (acties en observaties) zonder voorafgaande instructies.

De prestatiemeter, RHAE (Ratio van Menselijke Acties tot AI-Acties, gekwadrateerd), legt een zware kwadratische straf op voor inefficiëntie. Als een agent twee keer zoveel acties gebruikt als het menselijke mediaan, ontvangt deze slechts 25% krediet. De auteurs betogen dat huidige state-of-the-art-modellen deze benchmark niet halen vanwege een gebrek aan redeneervermogen, maar vanwege een gebrek aan epistemische discipline: ze falen in het verkennen van de omgeving om onzekerheid te verminderen voordat ze een plan vastleggen.

Bovendien identificeert het artikel een kritiek gebrek in de publieke evaluatiestel (25 spellen): het faalt in het onderscheiden tussen intelligente exploratie en triviale heuristieken. De auteurs tonen aan dat elk publiek spel oplosbaar is via niet-intelligente strategieën (bijvoorbeeld blinde enkele acties, herhaalde acties met voldoende budget, of het exploiteren van een kwetsbaarheid op bibliotheekniveau met een null-coördinaat). Bijgevolg kan de publieke set niet valideren of een agent over echte exploratieve intelligentie beschikt; alleen de private set van 55 spellen dient als een geldige test.

2. Methodologie

Theoretisch Kader: Trade-off tussen Snelheid en Diepte

De auteurs formaliseren de interactie tussen Snelheid (actie-efficiëntie, $1/A_E$) en Diepte (informatiewinst per actie, $\Delta H(b)/a$).

• Pareto-grens: Zij stellen dat een optimale beleidsregel ligt op een Pareto-grens tussen Snelheid en Diepte.
• Convexiteitsaanname (A1): Onder de aanname dat de grens convex is, fungeert de RHAE-metriek als een tweede-orde straf voor afwijking van deze grens.
• Implicatie: Agenten die exploratie overslaan (Diepte = 0) of te veel exploreren (excessieve Snelheidskosten) lopen kwadratische straffen op. De optimale strategie omvat een "Snelheid–Diepte"-balans waarbij het exploratiebudget evenredig is met de menselijke baseline.

Architectuur: AERA (Adaptive Epistemic Reasoning Agent)

AERA implementeert een architectuur in drie fasen die is ontworpen om de trade-off tussen Snelheid en Diepte te navigeren:

1. EXPLORE (Diepte-modus): De agent voert acties uit om de entropie van het geloof ($H(b_t)$) te verminderen. Acties worden geselecteerd om de verwachte informatiewinst te maximaliseren. Deze fase gaat door totdat de entropieproxy (de lengte van het veld UNCERTAIN in de LLM-uitvoer) onder een drempelwaarde $\theta$ zakt.
   • Budgetheuristiek: Het exploratiebudget $B_{max}$ is empirisch ingesteld op ongeveer 40% van het menselijke mediaan aantal acties ($\alpha \approx 0.4$).
2. VERIFY: De agent voert 1–3 gerichte acties uit om de huidige Maximum A Posteriori (MAP)-hypothese te falsificeren. Als deze wordt gefalsificeerd, gaat de agent opnieuw de EXPLORE-fase in.
3. PLAN + EXECUTE (Snelheidsmodus): Zodra de onzekerheid laag is, legt de agent zich vast op een plan gebaseerd op de geverifieerde hypothese. De uitvoering wordt afgebroken en de agent gaat opnieuw de EXPLORE-fase in als er onverwachte observaties optreden.

Implementatiedetails

• Modellen: Experimenten maken gebruik van Qwen2.5-0.5B en Qwen2.5-1.5B.
• Entropieproxy: In plaats van een formele deeltjesfilter gebruikt AERA de lengte van de gestructureerde UNCERTAIN-uitvoer van de LLM als heuristische proxy voor geloofsentropie.
• Competitie-inschrijving: Een aparte inzending (BFS-oplosser met offline voorsolve-cache) implementeert hetzelfde principe "EXPLORE-voordat-PLAN" zonder LLM-API's, en bereikt een RHAE van 0,30 op de private set.

3. Belangrijkste Resultaten

Empirische Prestaties op Publieke Spellen (25 Spellen)

• AERA (0.5B, b=1): Bereikt RHAE = 0,2116 en lost 4/25 spellen op (VC33, FT09, LP85, S5I5).
• Basislijnen:
  • Random: RHAE = 0,0000 (0/25 opgelost).
  • No-Explore (B1): RHAE = 0,0000 (0/25 opgelost). Het 0.5B-model faalt in het genereren van een plan zonder een expliciete hypothese die tijdens exploratie is gevormd.
• Interactie Modelcapaciteit:
  • Op een subset van 5 spellen bereikt het 0.5B-model met exploratie (b=1) een RHAE van 0,5290, terwijl het 1.5B-model zonder exploratie 0,2645 haalt.
  • Verrassend genoeg scoort het 1.5B-model met gedwongen 1-staps exploratie (b=1) 0,0000, en presteert het slechter dan zijn tegenhanger zonder exploratie. De auteurs hypothetiseren dat grotere modellen meer geconcentreerde actieverdelingen hebben, waardoor ze minder waarschijnlijk per ongeluk toevallige wincondities triggeren (zoals de enkele-actie-winst van FT09) in vergelijking met het meer diffuse 0.5B-model.

Validiteitsanalyse van de Benchmark

Een systematisch onderzoek van alle 25 publieke spellen onthult:

• 10 spellen zijn oplosbaar in één blinde stap (5 via ACTION6, 5 via andere blinde acties).
• 5 spellen vereisen ACTION6 na één enkele proef.
• 1 spel vereist diverse exploratie.
• 1 spel is oplosbaar door herhaald ACTION1.
• 8 spellen zijn oplosbaar door een enkele actie 50–200 keer te herhalen (budget-beperkt).
• 18 spellen kunnen in 1 stap worden omzeild via een kwetsbaarheid met null-coördinaat (het aanroepen van ACTION6 met x=None, y=None trigger een bibliotheekuitzondering die ten onrechte als winst wordt geclassificeerd).
• Conclusie: De publieke set kan geen onderscheid maken tussen intelligente exploratie en triviale heuristieken. De echte intelligentietest blijft de private set van 55 spellen.

Competitieresultaten

De gelinkte code-track-inschrijving (BFS-gebaseerde implementatie van het "eerst exploreren"-principe) bereikt RHAE = 0,30 op de volledige private evaluatie van 55 spellen, en presteert beter dan het gerapporteerde gemeenschapsbest van ongeveer 12,58% op het moment van schrijven.

4. Betekenis en Claims

Het artikel levert drie primaire bijdragen:

1. Theoretisch: Het interpreteert de kwadratische RHAE-metriek als een Pareto-grensstraf voor Snelheid–Diepte. Onder een convexiteitsaanname (bewezen voor een klasse van uniforme-informatie-omgevingen) straft de metriek wiskundig agenten die falen in het balanceren van informatiewinst met actie-efficiëntie.
2. Architectonisch: Het introduceert AERA, een raamwerk dat expliciet de overgang van exploratie naar planning regelt op basis van geloofsentropie. Dit toont aan dat exploratie noodzakelijk is voor kleinere modellen (0.5B) om een niet-nul RHAE te bereiken, terwijl grotere modellen (1.5B) misschien kunnen vertrouwen op priors maar toch lijden als exploratie verkeerd wordt gedwongen.
3. Empirisch/Benchmark-kritiek: Het biedt een rigoureuze kritiek op de publieke evaluatieset van ARC-AGI-3, en toont aan dat deze ongeldig is voor het meten van exploratie omdat alle spellen bereikbaar zijn via niet-intelligente strategieën. De auteurs betogen dat de kloof tussen menselijke en AI-prestaties geen redeneerkloof is, maar een kloof in epistemische discipline.

Bescheiden Claims:

• De auteurs claimen niet dat AERA het algemene ARC-AGI-3-probleem oplost of de 85%-doelstelling bereikt.
• De heuristiek voor het exploratiebudget ($\alpha \approx 0,4$) is een empirische fit, geen afgeleid wet.
• De convexiteitsaanname (A1) is niet bewezen voor alle omgevingen, slechts voor een specifieke klasse.
• De "null-coördinaat"-winst wordt gerapporteerd als een benchmarkkwetsbaarheid, niet als een intelligente strategie, en is uitgesloten van legitieme RHAE-vergelijkingen.

Het artikel concludeert dat het principe "EXPLORE-voordat-PLAN" een fundamenteel mechanisme is voor gedrag bij eerste contact in nieuwe omgevingen, en dat toekomstige vooruitgang naar AGI architecturen vereist die expliciet de trade-off tussen informatieverzameling en actie-efficiëntie beheren.