🤖 AI

Cost-Effective Agent Harnesses for Abstract Reasoning and Generalization on ARC-AGI-1

Dit artikel demonstreert dat een kosteneffectief, niet-gefine-tund open-weight model (DeepSeek V3.2), uitgerust met gespecialiseerde agentische harnassen — specifiek een Explorer-Definer Pipeline en een Reflective Orchestrator — de ARC-AGI-1 prestaties aanzienlijk kan verhogen van een baseline van 15,50% naar 67,25% pass@2 door patroonontdekking expliciet te scheiden van programmasynthese en transformaties adaptief opnieuw te verkennen, alles zonder zware test-time compute of benchmark-specifieke training.

Oorspronkelijke auteurs: Kabir Moghe, Peter Chin

Gepubliceerd 2026-07-09

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kabir Moghe, Peter Chin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, complexe puzzel probeert op te lossen waarbij de regels veranderen elke keer dat je een nieuw stukje oppakt. Dit is wat de ARC-AGI benchmark is: een test die ontworpen is om te zien of een computer abstracte patronen en logica kan begrijpen zonder die specifieke puzzel eerder te hebben gezien.

Lama een tijd heeft het oplossen van deze puzzels een van de twee dure benaderingen vereist:

De "Brute Force" Methode: Een superintelligente (en zeer dure) AI inhuren om miljoenen willekeurige gokjes te proberen totdat het geluk heeft. Dit kost veel geld en computerkracht.
De "Specialist" Methode: Een kleine AI nemen en deze alleen leren hoe hij deze specifieke puzzels moet oplossen door hem duizenden voorbeelden te laten zien. Dit werkt goed, maar de AI wordt een specialist die niets anders kan.

Het Grote Idee van Dit Papier
De auteurs, Kabir Moghe en Peter Chin van Dartmouth College, stelden een andere vraag: Kunnen we een "generalist" AI (één die niet specifiek op deze puzzels is getraind) deze goed laten oplossen, door gebruik te maken van een slimme teamstructuur in plaats van brute kracht of speciale training?

Ze bouwden een kosteneffectieve "agent harness"—eigenlijk een managementsysteem dat organiseert hoe de AI denkt. Ze testten dit op een standaard, open-source AI-model (DeepSeek V3.2) dat niet specifiek op deze puzzels is getraind.

Zo werkt hun systeem, met behulp van een eenvoudige analogie:

De Analogie: Het Detectbureautje

Stel je voor dat je een detective bent die een plaats delict probeert op te lossen (de puzzel). Je hebt een team van agenten met verschillende taken.

1. De Oude Manier (One-Shot Baseline)

Je belt één detective, laat hem de plaats delict zien en vraagt: "Wie heeft het gedaan?" Hij gokt direct.

Resultaat: Hij heeft het slechts in 15,5% van de gevallen goed. Hij gokt in het donker.

2. De "Denk Voordat Je Spreekt" Manier (Chain-of-Thought)

Je belt de detective opnieuw, maar dit keer dwing je hem om zijn redenering op te schrijven voordat hij het antwoord geeft.

Resultaat: De nauwkeurigheid springt naar 30%. Alleen het opschrijven van het denkproces helpt al.

3. De Nieuwe Manier: De "Explorer-Definer Pipeline"

In plaats van één detective, huur je een team.

De Explorers (De Patroonjagers): Je stuurt 5 verschillende agenten uit die de plaats delict onafhankelijk van elkaar onderzoeken. Ze proberen het nog niet op te lossen; ze zoeken alleen naar aanwijzingen, patronen en vreemde symmetrieën. Ze schrijven gedetailleerde rapporten over wat ze zien.
De Definer (De Architect): Een meester-architect leest alle 5 de rapporten. Hij neemt de beste ideeën, combineert ze en schrijft een specifiek "recept" (een computerprogramma) om de puzzel op te lossen.
De Check: Ze testen dit recept op de bekende aanwijzingen. Als het faalt, passen ze het recept aan.
Resultaat: Deze team-aanpak krijgt 57,5% van de puzzels goed, tegen een kosten van slechts $0,25 per puzzel. Ze hadden geen superdure AI nodig of speciale training; ze organiseerden het werk gewoon beter.

4. De "Reflective Orchestrator" (De Baas met een Tweede Kans)

De auteurs merkten een probleem op met de Pipeline: Soms missen de Explorers het grote plaatje volledig. De Architect probeert dan het recept aan te passen, maar zit vast in een poging om een kapotte fundering te repareren. Het is alsof je probeert een meesterwerk te schilderen op een gebarsten canvas.

Dus voegden ze een Baas (De Orchestrator) toe.

Als het recept van de Architect faalt, vraagt de Baas niet alleen om een aanpassing. De Baas zegt: "Oké, deze aanpak is fout. Laten we een nieuw, kleiner team van Explorers uitsturen die specifiek kijken naar de aanwijzingen die we gemist hebben."
Dit stelt het systeem in staat om de problemen te herontdekken vanuit een nieuwe invalshoek wanneer het vastloopt.
Resultaat: Deze slimme lus krijgt 67,25% van de puzzels goed, voor ongeveer $0,62 per puzzel.

Wat Hebben Ze Ontdekt?

Het papier maakt een aantal belangrijke ontdekkingen over waarom dit werkt:

Het gaat over "Generatie", niet "Selectie":
Het team ontdekte dat de belangrijkste reden voor hun falen niet was dat ze het juiste antwoord niet konden kiezen uit een lijst. Het was dat ze in eerste instantie niet genoeg verschillende soorten ideeën konden genereren.
- Analogie: Het is niet dat het team slecht is in het kiezen van de juiste sleutel; het is dat ze niet genoeg verschillende sleutels bij de deur hebben gebracht.
- De "Orchestrator" loste dit op door het team te dwingen nieuwe sleutels (nieuwe ideeën) te genereren wanneer de oude niet werkten.
Het "Denk"-instrument is Cruciaal:
Ze testten wat er gebeurt als je het "Denk"-instrument verwijdert (een privé kladblok waar de AI aantekeningen kan maken voordat hij spreekt).
- Resultaat: De nauwkeurigheid daalde met bijna 6%.
- Analogie: Het is alsof je een detective dwingt om de zaak hardop op te lossen zonder dat hij aantekeningen mag maken. Ze raken in de war en maken fouten. De private "denkruimte" is essentieel voor complexe redenering.
Kosten vs. Prestaties:
Ze behaalden deze hoge scores zonder duizenden dollars per puzzel uit te geven (zoals de "Brute Force" methoden) en zonder een nieuwe AI vanaf nul te trainen (zoals de "Specialist" methoden). Ze deden dit door een slimmere workflow te bouwen voor een bestaande, betaalbare AI.

De Kern van de Zaak

Dit papier bewijst dat je niet altijd een grotere, slimmere of duurdere AI nodig hebt om moeilijke logische puzzels op te lossen. Soms heb je gewoon een betere manager nodig om te organiseren hoe de AI denkt. Door het probleem op te splitsen in stappen (kijken naar patronen, en dan een oplossing bouwen) en het systeem te laten "opnieuw nadenken" wanneer het vastloopt, hebben ze de prestaties verhoogd van 15% naar bijna 67% met een zeer klein budget.

Noot: De auteurs hebben dit specifiek getest op een publieke set van 400 puzzels. Ze beweren niet dat dit werkt voor medische diagnoses, zelfrijdende auto's of andere real-world toepassingen; ze hebben alleen bewezen dat het werkt voor deze specifieke test van abstract redeneren.

Technische Samenvatting: Kosteneffectieve Agent-Harnesses voor Abstract Redeneren en Generalisatie op ARC-AGI-1

Probleemstelling

Het artikel behandelt de hoge kosten en computationele intensiteit die gepaard gaan met het behalen van sterke prestaties op de Abstraction and Reasoning Corpus (ARC-AGI-1). De huidige state-of-the-art benaderingen vallen over het algemeen uiteen in twee regimes:

Zware Test-Time Compute: Het gebruik van frontier Large Language Models (LLM's) met uitgebreide evolutionaire zoektochten, uitputtende sampling of uitgebreide chain-of-thought redenering, wat vaak tientallen tot honderden dollars per taak kost.
Benchmark-Specifieke Training: Het fine-tunen van kleine modellen of het vanaf nul trainen van modellen direct op ARC-data, vaak gecombineerd met agressieve test-time augmentatie.

De auteurs onderzoeken een derde, minder verkend regime: het behalen van significante prestatiewinsten op ARC-AGI-1 met behulp van een open-weight model in non-thinking mode (DeepSeek V3.2) met geen benchmark-specifieke fine-tuning en een strikt budget (minder dan $1 per taak). De centrale hypothese is dat de kloof tussen goedkope one-shot LLM-aanroepen (~16% nauwkeurigheid) en performante systemen (≥50%) niet uitsluitend een functie is van modelcapaciteit of schaal, maar kan worden hersteld door specifieke architecturale engineering.

Methodologie

De studie evalueert vier architecturen op de publieke 400-taak ARC-AGI-1 evaluatieset, waarbij allemaal hetzelfde model (DeepSeek V3.2) wordt gebruikt met identieke grid-rendering en scoringprotocollen.

1. Baselines

One-Shot Baseline: Een enkele LLM-aanroep zonder redeneer-scaffolding, die een gestructureerde JSON-output teruggeeft.
Structured Chain-of-Thought (CoT) Baseline: Een enkele aanroep die het model vereist om een natuurlijke taal redeneerveld te produceren vóór de grid, wat externe deliberatie afdwingt.

2. De Explorer-Definer Pipeline

Deze architectuur deelt de taak op in twee sequentiële fasen, bemiddeld door gecomprimeerde natuurlijke taal-artefacten:

Fase 1 (Parallelle Exploratie): Een vloot van $N$ PatternExplorer agents analyseert onafhankelijk trainingsparen. Elke agent gebruikt een private think tool voor interne deliberatie en een note_pattern tool om observaties vast te leggen. Hun outputs worden gecomprimeerd in een dichte samenvatting.
Fase 2 (Transformatie Definitie): Een TransformationDefiner agent ontvangt de trainingsparen en de gecomprimeerde exploratie-samenvattingen. Deze gebruikt een think tool en genereert uitvoerbare Python-code om de transformatie te implementeren.
Selectie & Verfijning: Kandidaten worden gerankt op basis van exact-match nauwkeurigheid op trainingsparen. Een dedup-by-test-prediction mechanisme voegt kandidaten samen die identieke test-outputs produceren. Als een kandidaat ≥50% van de trainingsparen passeert maar anderen faalt, wordt de definier opnieuw aangeroepen met gestructureerde feedback over de fouten om de code te verfijnen.

3. De Reflective Orchestrator

Gemotiveerd door de bevinding dat de pipeline "generatie-gebonden" is (de nauwkeurigheid wordt beperkt door de diversiteit van kandidaat-transformaties, niet door het selectiemechanisme), breidt de Orchestrator de definier van de Pipeline uit met adaptieve capaciteiten:

Mid-Loop Re-exploratie: Als de huidige transformatie-hypothese significant faalt op de trainingsparen, kan de Orchestrator een gerichte vloot van $K=2$ nieuwe PatternExplorer agents spawnen.
Negative-Leaning Guidance: Deze nieuwe explorers worden geconditioneerd op een gestructureerde samenvatting van "dead ends" en uitgesloten regelfamilies, waardoor ze worden gestuurd naar ononderzochte regio's in de transformatieruimte.
Terminatie: De loop stopt bij het bereiken van 100% trainingsnauwkeurigheid, een door een agent gegenereerde done call, of het raken van veiligheidszekeringen (maximale iteraties, opeenvolgende fouten of spawn-limieten).

Belangrijkste Bijdragen

Nieuwe Cost-Accuracy Frontier: Het artikel introduceert twee agentische architecturen die opereren in de sub-$1-per-taak regio:
- Explorer-Definer Pipeline: Bereikt 57.50% pass@2 bij $0.25/taak.
- Reflective Orchestrator: Bereikt 67.25% pass@2 bij $0.62/taak.
- Dit vertegenwoordigt een lift van respectievelijk ~42 en ~52 procentpunten ten opzichte van de one-shot baseline, zonder benchmark-specifieke training.
Diagnostische-Dan-Test Methodologie: De auteurs stellen een falsifieerbare diagnose vast: de pipeline is generatie-gebonden, niet selectie-gebonden. Analyse toont aan dat de selectie van trainingsparen ~95% van de haalbare kandidaat-plafond vangt. Dit voorspelt dat verdere winst vereist is door bredere kandidaat-generatie in plaats van betere ranking. De Orchestrator is expliciet ontworpen als een architecturale test van deze voorspelling, en bevestigt dit via een bijna identieke lift in zowel naïeve pass@2 als onbevooroordeelde pass@1.
Robuustheid en Ablatie-analyse:
- Explorer Count ( $N$ ): Geïdentificeerd als de dominante kosten-nauwkeurigheid hefboom; de nauwkeurigheid verzadigt naarmate $N$ toeneemt, terwijl definier-sampling ( $M$ ) een afnemend rendement vertoont.
- Think Tool: Het verwijderen van de private think scratchpad van de definier vermindert de pass@2 met 5.75 percentagepunten, wat de cruciale rol van deliberatie bevestigt.
- Refinement: Het uitschakelen van de train-feedback verfijning levert een verwaarloosbare daling op (-0.75 pp), wat suggereert dat de selectielaag het grootste deel van het voordeel absorbeert.
- Cross-Model Validatie: De lift-traject houdt stand op Qwen3-235B, wat aangeeft dat de harness-architectuur, en niet het specifieke model, de winst drijft.
Methodologische Discipline: Het artikel pleit voor token-genormaliseerde kostenrapportage, expliciete pass@k definities en bootstrap betrouwbaarheidsintervallen om architecturale claims controleerbaar te maken.

Resultaten

Prestaties: De Reflective Orchestrator bereikt 67.25% pass@2 op de publieke 400-taak set. Dit is een +9.75 percentagepunt verbetering over de Pipeline (57.50%) en een +51.75 punt verbetering over de one-shot baseline (15.50%).
Kostenefficiëntie: De Orchestrator werkt tegen $0.62 per taak, een fractie van de kosten van frontier-model zoekregimes (vaak $2–$ 400/taak).
Statistische Significantie: Alle architecturale transities (Baseline → CoT → Pipeline → Orchestrator) vertonen statistisch significante lifts (95% CI sluit nul uit) via gepaarde bootstrap-analyse.
Gedragsinzichten: Trace-analyse onthult dat ~75% van de unieke oplossingen van de Orchestrator (waar de Pipeline faalde) gebruikmaakte van de adaptieve re-exploratie (spawn) mechanisme, wat de hypothese valideert dat "verkeerde-abstractie" fouten de dominante residuele foutmodus zijn.

Betekenis en Claims

Het artikel beweert dat een substantieel deel van de ARC-AGI-1 prestaties toegankelijk is via agent harness engineering alleen, zonder dat daar gespecialiseerde training of enorme compute-budgetten voor nodig zijn.

Architecturale Hefbomen: Het werk demonstreert dat de kloof tussen eenvoudige prompting en hoge prestaties overbrugd kan worden door drie verschillende architecturale hefbomen:
1. Binnen-aanroep deliberatie (gestructureerde CoT).
2. Over-aanroep decompositie (scheiding van patroonontdekking en programmasynthese).
3. Adaptieve re-exploratie (toestaan dat synthese verse exploratie triggert bij falen).
Generatie vs. Selectie: De studie levert empirisch bewijs dat voor deze klasse problemen de nauwkeurigheid wordt beperkt door de diversiteit van gegenereerde kandidaten (exploratie) in plaats van de kwaliteit van de selectie.
Bescheidenheid: De auteurs verklaren expliciet dat zij geen nieuwe state-of-the-art (SOTA) claimen voor de officiële leaderboard, waarbij zij opmerken dat hun resultaten op de publieke 400-taak set gebaseerd zijn in plaats van de semi-private holdout. Zij argumenteren echter dat hun aanpak een schaarse en waardevolle regio bezet in het kosten-nauwkeurigheid vlak, waarmee bewezen wordt dat hoge prestaties niet exclusief het domein zijn van dure, gespecialiseerde systemen.