🤖 AI

Lomekwi: Resource-Bounded Tool Discovery in LLM Agents

Dit artikel stelt een door cognitieve wetenschap geïnspireerd kader voor dat het ontdekken van tools deelt op in nieuwsgierigheid, herkenning en efficiëntie, waarbij wordt onthuld dat herkenningsvermogens omgekeerd evenredig schalen met de modelgrootte door middel van een analyse van combinatorische spellen en real-world taakomgevingen.

Oorspronkelijke auteurs: Roshan Klein-Seetharaman, Daniel Wang, Andrew Xu

Gepubliceerd 2026-07-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Roshan Klein-Seetharaman, Daniel Wang, Andrew Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot ziet leren overleven in een nieuwe wereld. Al heel lang testen wetenschappers deze robots door ze een gereedschapskist te geven en te vragen: "Kun je deze hamer gebruiken om de muur te repareren?" of "Kun je deze moersleutel gebruiken om die bout aan te draaien?" Als de robot de muur repareert, zeggen we dat hij slim is. Maar dit is alsof je een chef test door hem alleen te vragen een mes te gebruiken dat hem zojuist is overhandigd, zonder ooit te kijken of hij er zelf aan zou denken om er een te pakken. In de echte wereld, en in het wild, is slim zijn niet alleen het gebruiken van gereedschap dat je al kent; het gaat erom dat je naar een stapel willekeurige rommel kijkt en beseft: "Hé, als ik deze twee dingen aan elkaar bevestig, kan ik een hulpmiddel maken!" Dit artikel duikt in dat ontbrekende puzzelstukje: het moment van ontdekking. Het stelt een eenvoudige maar lastige vraag: Naarmate robots (specifiek AI-taalmodellen) groter en slimmer worden, worden ze dan ook echt beter in het verzinnen van hun eigen gereedschap, of worden ze alleen maar beter in het gebruiken van de middelen die hen worden verteld?

De onderzoekers achter deze studie, werkend met een team van Yale en Sea12 Technologies, besloten niet alleen te meten of de robot het spel wint. In plaats daarvan braken ze het spel af in drie duidelijke stappen, als een recept voor uitvinding. Ten eerste is er Nieuwsgierigheid: Zoekt de robot überhaupt naar de onderdelen die hij nodig heeft? Ten tweede is er Herkenning: Zodra hij de onderdelen heeft, beseft hij dan: "Oh, ik kan deze combineren om een machine te maken"? En ten derde is er Efficiëntie: Zodod hij de machine heeft gebouwd, kan hij deze dan daadwerkelijk gebruiken om te winnen? Ze bouwden een speciale digitale speeltuin genaamd "Lomekwi" (genoemd naar een echte plek waar de eerste mensen voor het eerst stenen werktuigen gebruikten) om dit te testen. In dit spel moet de robot vergrendelde deuren openen. Hij kan ofwel proberen elke deur met brute kracht te forceren totdat hij de sleutels vindt (een traag, saai geploeter), of hij kan specifieke scherven vinden, ze combineren tot een machine, en die machine gebruiken om de deuren direct te openen.

Hier wordt het vreemd en contra-intuïtief. Je zou verwachten dat de grootste, krachtigere AI-modellen het beste zouden zijn in alles: het vinden van de onderdelen, het beseffen hoe ze een machine moeten bouwen, en het gebruiken ervan. Maar het artikel suggereert dat er iets verrassends gebeurt. Hoewel de grootste modellen geweldig zijn in het "geploeter" (problemen handmatig oplossen) en zeer efficiënt zijn zodra ze een hulpmiddel hebben, lijken ze hun Herkenning te verliezen. Het is alsof de slimste modellen zo zelfverzekerd worden in hun eigen vermogen om problemen door brute kracht op te lossen, dat ze stoppen met zoeken naar afkortingen. Ze negeren de glimmende nieuwe machine die ze zouden kunnen boukeren omdat ze denken: "Ik kan dit gewoon zelf doen."

Sterker nog, de onderzoekers ontdekten dat naarmate de modellen groter werden, ze juist slechter werden in het herkennen van de kans om een hulpmiddel te bouwen. In één experiment was een kleiner model veel eerder geneigd om het recept voor het hulpmiddel te ontdekken dan een massief, superintelligent model. De grote modellen waren zo druk met het proberen op te lossen van de puzzel met hun eigen "spierkracht" dat ze de "brein"-oplossing misten. De grote modellen waren echter ook zo druk met het oplossen van de puzzel met hun eigen "spierkracht" dat ze de "brein"-oplossing misten. Echter, het artikel suggereert ook dat dit onderdeel kan zijn van een groter patroon. Wanneer de onderzoekers de grote modellen een kleine hint gaven dat er een hulpmiddel zou kunnen bestaan, werden de grote modellen plotseling wakker en begonnen ze weer te zoeken, wat aantoont dat ze niet onbekwaam waren, maar overmoedig.

Dus, wat betekent dit allemaal? Het blijkt dat een "gereedschapsgebruiker" zijn en een "gereedschap uitvinder" zijn twee totaal verschillende vaardigheden. Een model kan een genie zijn in het gebruiken van een hulpmiddel zodra het aan hem wordt overhandigd, maar een totale mislukking in het beseffen dat hij er een nodig heeft in de eerste plaats. Het artikel suggereert dat wanneer AI groter wordt, we mogelijk een dip zien in die creatieve vonk van ontdekking, niet omdat de AI dommer wordt, maar omdat hij te zeker wordt van zijn eigen vermogen om door problemen heen te ploeteren zonder hulp. Het is een herinnering aan het feit dat het soms het slimste is wat je kunt doen om even te stoppen met alles zelf te willen doen en te kijken naar een hulpmiddel om je te helpen.

Technische Samenvatting: LOMEKWI: RESOURCE-BOUNDED TOOL DISCOVERY IN LLM AGENTS

Probleemstelling

Bestaande benchmarks voor het gebruik van tools door Large Language Models (LLM's) evalueren primair het vermogen van een model om tools te gebruiken of te construeren wanneer daar expliciet naar wordt gevraagd of wanneer het bestaan van de tool bekend is. Deze benchmarks verwarren toolgebruik vaak met toolontdekking, waardoor ze er niet in slagen te meten of een agent autonoom besluit een tool uit te vinden wanneer deze geconfronteerd wordt met een nieuw probleem. Bov�ór de standaardmetrieken rapporteren meestal een enkele succesratio, wat de specifieke cognitieve processen die bij ontdekking betrokken zijn, maskeert. Voortbouwend op de cognitieve wetenschap, stellen de auteurs dat het uitvinden van een tool een onderscheidbare capaciteit is van het gebruik van een tool, en dat huidige evaluaties niet de "dispositie" van een agent om tools te bouwen zonder instructie vastleggen.

Methodologie

Theoretisch Kader: Decompositie van Toolontdekking

Het artikel stelt een formele decompositie voor van het proces van toolontdekking in drie scheidbare probabilistische componenten, naast een "grind" (brute-force) waarschijnlijkheid:

Nieuwsgierigheid (Curiosity, $C$ ): De waarschijnlijkheid dat de agent de noodzakelijke componenten (ingrediënten) verzamelt om een tool te bouwen ($Pr(hold)$).
Herkenning (Recognition, $R$ ): De waarschijnlijkheid dat de agent, na het bezit van de componenten, de gelegenheid herkent en zich committeert aan het bouwen van de tool ($Pr(build | hold)$).
Efficiëntie (Efficiency, $E$ ): De waarschijnlijkheid dat de agent de taak succesvol oplost met behulp van de gebouwde tool ($Pr(win | build)$).
Grind ( $G$ ): De waarschijnlijkheid van het oplossen van de taak via brute force zonder een tool.

De totale succeswaarschijnlijkheid wordt gedefinieerd als:
$S = C \cdot R \cdot E + G$
Dit framework maakt het mogelijk om specifieke foutmodi te isoleren (bijv. een agent kan nieuwsgierig en efficiënt zijn, maar er niet in slagen de noodzaak voor een tool te herkennen).

Experimentele Omgevingen

Om deze componenten te meten zonder contaminatie van pretraining-priors, introduceren de auteurs twee omgevingen:

Lomekwi (Combinatorial Vault Game):
- Taak: Een agent moet $n$ vergrendelde deuren openen binnen een token-/actiebudget.
- Mechanica: De agent kan "grinden" door deuren te onderzoeken om sleutels te vinden (brute force) of een machine "bouwen" door specifieke scherftypen te verzamelen en te combineren.
- Ontwerp: Om priors te onderdrukken, worden alle objectlabels (deuren, sleutels, scherven) per episode willekeurig opnieuw gelabeld met unieke letters.
- Meting: Nieuwsgierigheid wordt gemeten door het bezit van de juiste scherven; Herkenning door het bouwen van de machine; Efficiëntie door het openen van alle deuren.
Recognition MCP (Model Context Protocol):
- Taak: Een langdelingingsprobleem waarbij de agent het handmatig kan oplossen (grind) of een van de $T$ kandidaat-tools kan aanroepen.
- Mechanica: Precies één tool (de oracle) lost het probleem onmiddellijk op; de andere zijn decoys die "geen resultaat" teruggeven.
- Ontwerp: Deze omgeving isoleert Herkenning door alle "ingrediënten" (de tools) vooraf te verstrekken, waardoor Nieuwsgierigheid en Efficiëntie als variabelen worden geëlimineerd.
- Condities: Getest onder een "baseline" prompt (tools bestaan) en een "tool-prior" prompt (expliciet vermeldend dat één tool het probleem oplost).

Geëvalueerde Modellen

De studie evalueert een reeks modellen, waaronder de Claude-familie van Anthropic (Haiku, Sonnet, Opus) en meerdere Qwen-families (Qwen2.5, Qwen3, Qwen3.5) met parameteraantallen variërend van 0.5B tot 72B.

Belangrijkste Bijdragen

Decompositie Framework: Een formele scheiding van toolontdekking in Nieuwsgierigheid, Herkenning en Efficiëntie, wat een granulair onderzoek van agentgedrag mogelijk maakt.
Gecontroleerde Omgevingen: De introductie van de Lomekwi- en Recognition MCP-omgevingen, die gebruikmaken van prior-onderdrukking (willekeurige herlabeling) om echte ontdekking te meten in plaats van herinnering (recall).
Inverse Scaling van Ontdekking: Empirisch bewijs dat Herkenning in bepaalde regimes invers schaalt met de modelgrootte, wat betekent dat grotere modellen minder waarschijnlijk een tool ontdekken of besluiten te gebruiken dan kleinere modellen.
U-vormige Schalingshypothese: Bewijs dat, hoewel herkenning daalt in intermediaire modellen, het in de grootste modellen kan herstellen onder specifieke condities (tool-prior prompts), wat een U-vormige schaalcurve vormt.

Resultaten

Inverse Scaling van Herkenning

In de Lomekwi-omgeving, terwijl algemeen succes ( $S$ ), Nieuwsgierigheid ( $C$ ) en Efficiëntie ( $E$ ) over het algemeen positief schalen met de modelgrootte, vertoont Herkenning ( $R$ ) een inverse trend.

Observatie: Grotere modellen (bijv. Claude Opus, Qwen3.5 27B) bouwden de vereiste machine minder frequent dan hun kleinere tegenhangers (bijv. Claude Haiku, Qwen3.5 4B).
Oorzaak: Analyse van de Recognition MCP-omgeving toonde aan dat grotere modellen, die beter in staat zijn tot de onderliggende taak (langdelinging), kozen om te "grinden" (handmatig oplossen) in plaats van te exploreren. Ze lieten het exploratieve gedrag dat nodig is voor herkenning varen omdat ze vertrouwen hadden in hun handmatige capaciteiten.

De Rol van Overmoed

Het artikel schrijft de inverse scaling toe aan een kalibratiefout in intermediaire tot grote modellen:

Kleine Modellen: Missen de capaciteit om de taak handmatig op te lossen, waardoor ze gedwongen zijn tools te verkennen (hoge herkenning).
Intermediaire Modellen: Bezitten voldoende capaciteit om handmatige oplossingen te proberen, maar missen de betrouwbaarheid om deze consistent te laten slagen. Ze worden overmoedig, geven de tool-exploratie op en falen zowel in de handmatige poging als in de toolontdekking.
Grote Modellen: In de Recognition MCP "tool-prior" conditie herstelden de grootste modellen hun herkenningspercentages. Ze erkenden het bestaan van de tool als een "hedge" tegen falen, waarbij ze handmatige capaciteit combineerden met tool-exploratie. Dit resulteerde in een U-vormige schaalcurve voor herkenning over verschillende modelfamilies.

Efficiëntie versus Succes

De resultaten tonen aan dat geaggregeerde succesmetrieken onvoldoende zijn. Een model kan een hoog algemeen succes bereiken door te grinden (handmatig oplossen), terwijl het een bijna nulwaardige toolontdekking vertoont. Dit maskeert een tekort aan het vermogen van de agent om efficiënte, herbruikbare strategieën te identificeren.

Betekenis en Claims

Het artikel claimt dat deze bevindingen een meer genuanceerd beeld van LLM-toolgebruik vereisen, waarbij toolgebruik wordt gescheiden van toolontdekking.

Beperkingen van Huidige Benchmarks: Bestaande benchmarks die enkel succesratio's rapporteren of toolcreatie verplichten, slagen er niet in de inverse scaling van herkenning te detecteren. Ze verwarren efficiëntiewinst met ontdekkingsvermogen.
Cognitieve Parallel: Het werk sluit aan bij de cognitieve wetenschappelijke literatuur (bijv. kinderen die tools gebruiken voordat ze ze uitvinden; neurologische dissociatie van gebruik en uitvinding), wat suggereert dat LLM's vergelijkbare dissociaties vertonen.
Kalibratiefout: De inverse scaling van herkenning benadrukt een kalibratieprobleem waarbij de beslissing van een model om naar tools te grijpen, niet goed is afgestemd op de werkelijke capaciteit. Naarmate modellen bekwaamder worden, kunnen ze juist minder geneigd zijn om efficiënte, generaliseerbare oplossingen (tools) te zoeken ten gunste van directe, brute-force berekening.

De auteurs concluderen dat hoewel zij dit fenomeen hebben geïdentificeerd in gecontroleerde, geparametriseerde omgevingen, verder onderzoek nodig is om te bepalen hoe deze bevindingen overgaan naar natuurlijke, real-world taken van toolontdekking waar priors alomtegenwoordig zijn.