💻 computer science

Can Current Agents Close the Discovery-to-Application Gap? A Case Study in Minecraft

Dit artikel introduceert SciCrafter, een op Minecraft gebaseerde benchmark die AI-agenten evalueert op de cyclus van ontdekking tot toepassing via redstone-circuittaken, en onthult dat hoewel huidige geavanceerde modellen stagneren bij een succespercentage van 26%, voornamelijk door beperkingen in het toepassen van kennis, de opkomende bottleneck voor geavanceerde systemen verschuift naar het vermogen om kennislacunes te identificeren en de juiste problemen te formuleren.

Oorspronkelijke auteurs: Zhou Ziheng, Huacong Tang, Jinyuan Zhang, Haowei Lin, Bangcheng Yang, Qian Long, Fang Sun, Yizhou Sun, Yitao Liang, Ying Nian Wu, Demetri Terzopoulos, Xiaofeng Gao

Gepubliceerd 2026-04-28

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhou Ziheng, Huacong Tang, Jinyuan Zhang, Haowei Lin, Bangcheng Yang, Qian Long, Fang Sun, Yizhou Sun, Yitao Liang, Ying Nian Wu, Demetri Terzopoulos, Xiaofeng Gao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar onervaren leerling probeert te leren hoe je een complexe machine bouwt, zoals een mechanische robot. Je geeft hen een doos met onderdelen en een doel: "Laat de robot lopen."

De leerling moet niet alleen weten hoe je de tandwielen in elkaar zet (toepassing); ze moeten eerst uitzoeken welke tandwielen werken, waarom ze op die manier draaien en wat er gebeurt als je ze op een vreemde manier verbindt (ontdekking).

Dit artikel, getiteld "Kunnen huidige agents de kloof tussen ontdekking en toepassing dichten? Een casestudy in Minecraft," is in wezen een rapportcijfer voor hoe goed de meest geavanceerde AI-"leerlingen" van vandaag dit hele proces aankan.

Hier is de uiteenzetting van hun bevindingen, met gebruikmaking van eenvoudige analogieën:

1. De Test: Een "Redstone"-puzzel

De onderzoekers testten de AI niet in de echte wereld (wat te rommelig en duur is). In plaats daarvan gebruikten ze Minecraft, een videospel waar je complexe machines kunt bouwen met "Redstone" (de versie van elektrisch bedrading in het spel).

De Taak: De AI moest een circuit bouwen om een specifiek aantal lampen (van 4 tot 64) in een specifiek patroon te laten oplichten (allemaal tegelijk, of in een reeks).
De Hinderpaal: De AI kon niet zomaar gokken. Naarmate het aantal lampen groeide, veranderden de regels van het spel. Een signaal in Minecraft wordt bijvoorbeeld zwakker naarmate het verder reist. Om 64 lampen te laten oplichten, moest de AI ontdekken dat het speciale "repeaters" (signaalversterkers) nodig had en deze in een specifieke "hub"-vorm moest rangschikken. Als het alleen maar probeerde een oplossing voor 4 lampen te onthouden en die op te schalen, zou het falen.

2. Het Resultaat: De AI liep tegen een muur

De onderzoekers testten de slimste beschikbare AI-modellen (zoals GPT-5.2, Gemini-3-Pro en Claude-Opus-4.5).

De Score: Zelfs de beste AI slaagde slechts ongeveer 26% van de tijd.
De Analogie: Stel je voor dat je een genie-student een wiskundetoets geeft. Ze kunnen optellen perfect oplossen, maar als je vraagt om een nieuwe manier te bedenken om getallen te vermenigvuldigen om een moeilijker probleem op te lossen, raken ze vast. Ze zijn geweldig in het volgen van instructies, maar slecht in het uitzoeken welke instructies ze zelf moeten schrijven.

3. De Diagnose: Waar faalden ze?

De onderzoekers splitsten het falen van de AI op in vier stappen, zoals een estafette. Ze wilden zien welke loper de stok liet vallen.

Stap 1: Weten wat je niet weet (Identificatie)
- Het Probleem: De AI wist niet wat ze moesten vragen. Ze beseften niet: "Hé, ik weet niet hoe signalen op afstand verzwakken."
- De Oplossing: Toen de onderzoekers de AI een hint gaven zoals: "Check hoe ver het signaal reist," verdubbelde het slagingspercentage.
- Het Inzicht: Voor de slimste AI's is het grootste probleem niet het oplossen van de puzzel; het is uitzoeken wat de puzzel eigenlijk is. Ze zijn slecht in het stellen van de juiste vragen.
Stap 2: Experimenten uitvoeren (Ontdekking)
- Het Probleem: De AI wist niet hoe ze hun ideeën systematisch moesten testen.
- De Oplossing: De onderzoekers voegden een "Wetenschapper"-subagent toe. Dit was een tweede AI wiens enige taak het was om kleine tests te draaien (bijv. "Wat gebeurt er als ik hier een blok zet?") en een rapport te schrijven.
- Het Inzicht: Toen de AI een "wetenschapper" had om de experimenten uit te voeren, werd het beter. Dit laat zien dat AI's weliswaar de kennis hebben om te experimenteren, maar moeite hebben om het zelf te doen zonder een gestructureerd proces.
Stap 3: De regels opschrijven (Consolidatie)
- Het Probleem: De AI vond het antwoord, maar vergat later hoe ze het moesten gebruiken omdat ze de notities op een rommelige manier hadden opgeschreven.
- De Oplossing: Toen de onderzoekers de AI dwongen om hun bevindingen in een strikt formaat te schrijven (Claim, Bewijs, Beperkingen, Voorbeeld), presteerden ze veel beter.
- Het Inzicht: Het is niet genoeg om iets te "weten"; de AI moet weten hoe ze die kennis moeten opslaan en organiseren om het later te gebruiken.
Stap 4: De machine bouwen (Toepassing)
- Het Probleem: Zelfs nadat ze de regels hadden bedacht en opgeschreven, had de AI nog steeds moeite om de blokken daadwerkelijk correct in het spel te plaatsen.
- Het Inzicht: Dit is de "residuale" kloof. De AI heeft nog steeds moeite om haar nieuwe kennis om te zetten in perfecte fysieke constructie. Voor de slimste modellen wordt deze kloof echter kleiner, terwijl de kloof voor "de juiste vraag stellen" groter wordt.

4. De Grote Conclusie

Het artikel concludeert dat we een keerpunt bereiken voor AI.

Het Verleden: AI was slecht in alles: vragen stellen, experimenteren en bouwen.
Het Heden: AI wordt erg goed in bouwen (toepassing) als je haar de regels geeft.
De Toekomstige Bottleneck: Het moeilijkste deel is niet langer "het probleem oplossen". Het moeilijkste deel is "het probleem definiëren."

De Laatste Metafoor:
Stel je voor dat je een auto hebt die perfect zelf kan rijden zodra je haar de bestemming en de route vertelt. Het probleem is dat de auto momenteel verschrikkelijk is in het uit het raam kijken, beseffen "Oh, de weg is geblokkeerd" en beslissen om een nieuwe route te zoeken. Ze heeft een mens nodig die zegt: "Hé, de weg is geblokkeerd, ga eromheen."

De onderzoekers zeggen: We moeten stoppen met proberen de auto sneller te laten rijden, en beginnen met haar leren hoe ze naar de weg moet kijken en uitzoeken waar ze naartoe moet.

Samenvatting van Bijdragen

SCICRAFTER: Een nieuwe test (in Minecraft) om te zien of AI kan gaan van "ontdekking" naar "toepassing".
De Uiteenzetting: Ze bewezen dat de grootste hindernis voor slimme AI's nu het identificeren is van wat ze moeten leren, en niet alleen het toepassen van wat ze weten.
De Hulpmiddelen: Ze creëerden een "Wetenschapper"-hulpje en een betere manier om notities te maken die AI significant helpt bij het leren van nieuwe dingen.

1. Probleemstelling

Het artikel behandelt de "Discovery-to-Application Gap" (de kloof tussen ontdekking en toepassing), een fundamentele uitdaging in kunstmatige algemene intelligentie (AGI). Waar menselijke intelligentie wordt gekenmerkt door een zelfevoluerende cyclus waarbij wetenschappelijke ontdekking (het identificeren van causale modellen) engineering-toepassing (het bouwen van complexe systemen) informeert, worstelen huidige AI-agenten om deze volledige cyclus autonoom te navigeren.

Bestaande evaluaties worden gehinderd door de "complexiteitskloof" tussen het identificeren van een wetenschappelijk principe en het engineeren van een real-world toepassing, wat vaak jaren werk en complexe fysieke robotica vereist. De auteurs beogen een gecontroleerde, schaalbare omgeving te creëren om te evalueren of geavanceerde Large Language Model (LLM)-agenten het volgende kunnen:

Autonoom verborgen causale regulariteiten ontdekken in een dynamische omgeving.
Die ontdekkingen toepassen om functionele systemen te bouwen.
Precies identificeren waar in de cognitieve pijplijn deze agenten falen.

2. Methodologie: SCICRAFTER Benchmark

Om deze cyclus te operationaliseren, introduceren de auteurs SCICRAFTER, een benchmark gebouwd binnen Minecraft met behulp van het Redstone-circuit-systeem.

Omgeving: Minecraft dient als een persistente 3D-wereld met rijke ruimtelijke, causale en temporele dynamiek. Het staat de constructie van complexe systemen toe (tot en met functionele CPU's), maar abstracteert fysieke robotische beperkingen weg.
Taakschema: Agenten krijgen de opdracht om $N$ lampen in specifieke patronen te ontsteken (bijvoorbeeld gelijktijdig, in getimede sequenties, of met specifieke vertragingen) binnen een vast gebied.
Schaalbaarheid: De moeilijkheidsgraad is parametrisch schaalbaar. Terwijl basisopdrachten (bijvoorbeeld 4 lampen) vertrouwen op bekende mechanieken, dwingt schalen naar hogere niveaus (bijvoorbeeld 64 lampen) agenten om verborgen dynamiek te ontdekken, zoals signaalverzwakking (signaalsterkte neemt met 1 af per blok), repeater-semantiek (richtingsgebonden vertragingen) en topologische beperkingen (geen diagonale verbindingen).
Agentopstelling: De studie evalueert een reeks geavanceerde modellen (GPT-5.2, Gemini-3-Pro, Claude-Opus-4.5, enz.) uitgerust met een gestandaardiseerde algemene code-agent-scaffold (Claude Code) om een eerlijke vergelijking van de onderliggende LLM-capaciteiten te garanderen in plaats van aangepaste engineering.

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

SCICRAFTER Benchmark: Een nieuwe taakreeks met automatisch schaalbare moeilijkheidsgraad die echte ontdekking dwingt in plaats van memorisatie. Het operationaliseert de ontdekking-naar-toepassing-cyclus via geparametriseerde Redstone-circuitopdrachten.
Capaciteitsdecompositie Framework: De auteurs decomponeren de prestatiekloof van de agent in vier distincte cognitieve capaciteiten om falen te diagnosticeren:
- Identificatie van Kenniskloven: Het vermogen om te herkennen wat onbekend is en onderzoeksvragen te formuleren.
- Experimentele Ontdekking: Het vermogen om rigoureuze experimenten te ontwerpen en uit te voeren om causale mechanismen af te leiden.
- Kennissamenvoeging: Het vermogen om bevindingen te destilleren tot herbruikbare, gestructureerde formaten.
- Kennistoepassing: De resterende capaciteit om te redeneren, te plannen en engineeringstaken uit te voeren met bekende kennis.
Nieuwe Agentinterventies:
- Wetenschapper Sub-agent: Een gespecialiseerde agent die systematische controle-experimenten uitvoert (hypothese, ontwerp, uitvoering, analyse) om kenniskloven op te vullen.
- Gestructureerde Kennissamenvoeging: Een specifiek sjabloon ("Claim-Proof-Constraints-Example") dat beter presteert dan vrij-vormige samenvattingen bij het behouden en ophalen van ontdekte wetten.

4. Experimentele Resultaten

De auteurs evalueerden 8 modellen (inclusief GPT-5.2, Gemini-3-Pro en Qwen-varianten) in een curriculum-omgeving (L1 tot L5).

Basisprestaties: Alle modellen bereikten een plateau bij een laag succespercentage van ongeveer 26% (beste: Gemini-3-Pro met 26,0%). Het schalen van modelparameters alleen loste de bottleneck niet op.
Analyse van Kloofdecompositie:
- Identificatie van Kenniskloven: Het verstrekken van "orakelhints" (de agent vertellen wat er ontdekt moet worden zonder het antwoord te geven) verdubbelde de succespercentages (bijvoorbeeld +26,5% voor Gemini-3-Pro). Dit wijst op een groot falen in het stellen van de juiste vragen.
- Experimentele Ontdekking: Het toevoegen van de "Wetenschapper"-sub-agent verhoogde het succes verder met ongeveer 11,5%, waardoor het beste model uitkwam op 64,0%. Dit benadrukt een kloof in autonoom, systematisch experimenteren.
- Kennissamenvoeging: Overschakelen van vrij-vormige samenvattingen naar het gestructureerde "Claim-Proof-Constraints-Example"-formaat leverde een aanzienlijke winst op (van 58% naar 64%), wat aantoont dat agenten moeite hebben kennis te structureren voor toekomstige toepassing.
- Kennistoepassing: De resterende kloof (36% voor het beste model) vertegenwoordigt het fundamentele onvermogen om bekende wetten om te zetten in correcte fysieke constructies (bijvoorbeeld blokken in de verkeerde oriëntatie plaatsen).
Verschuiving van Bottlenecks: Voor kleinere modellen is de primaire bottleneck Kennistoepassing (uitvoering). Voor geavanceerde modellen verschuift de bottleneck echter naar Identificatie van Kenniskloven (het formuleren van de juiste problemen).

5. Betekenis en Implicaties

Hernieuwde Definitie van AI-grenzen: De studie suggereert dat het simpelweg vergroten van modelgrootte onvoldoende is voor algemene intelligentie. Het vermogen om te identificeren wat er ontdekt moet worden, wordt de nieuwe grens, wat echoot in Einstein's observatie dat "het formuleren van een probleem vaak essentieeler is dan het oplossen ervan".
Diagnostisch Instrument: SCICRAFTER dient als een "diagnostische sonde" om specifieke cognitieve falen in AI-agenten te isoleren, en gaat voorbij aan binaire pass/fail-metrics om te begrijpen waarom agenten falen (bijvoorbeeld structurele fouten versus semantische misverstanden).
Methodologische Vooruitgang: Het artikel demonstreert dat gestructureerde "Wetenschapper"-sub-agenten en specifieke kennis-samenvoegingsformaten de latente ontdekkingcapaciteiten in huidige LLM's aanzienlijk kunnen vrijmaken, en biedt een blauwdruk voor toekomstige agentische systemen.
Faalmodi: De analyse onthulde dat de meest subtiele en moeilijke fouten Wire Semantics Failures (Categorie 3) zijn, waarbij agenten circuits bouwen die er correct uitzien maar falen door een gebrek aan begrip van directionele connectiviteit. Dit weerspiegelt de "Identification Gap", waarbij de agent faalt in het herkennen van de relevantie van een specifieke beperking.

Concluderend, terwijl huidige AI-agenten veelbelovend zijn in het uitvoeren van bekende taken, blijven ze aanzienlijk beperkt in de volledige ontdekking-naar-toepassing-cyclus, met name in het autonoom identificeren van kenniskloven en het structureren van experimentele ontdekking. De auteurs geven SCICRAFTER vrij als een open testomgeving om onderzoek te stimuleren naar het dichten van deze kloven.