🤖 AI

Set-shifting Behavioral Test for Harnessed Agents

Dit artikel introduceert een set-shifting gedragstest om te evalueren hoe LLM-agenten zich aanpassen aan verborgen veranderingen in de betrouwbaarheid van tools, waarbij wordt onthuld dat agenten de neiging hebben rigide vast te houden aan specifieke routines met duidelijke faalmodi die verder worden beïnvloed door de manier waarop de toolset wordt geframed.

Oorspronkelijke auteurs: Ziwei Ye

Gepubliceerd 2026-07-16

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ziwei Ye

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotbutler leert hoe hij het avondeten moet koken. Je geeft hem een enorm kookboek met tien verschillende recepten voor "roerei". In het begin werkt Recept A perfect. De robot raakt eraan gewend, onthoudt de stappen uit zijn hoofd en maakt telkens weer heerlijk ei. Maar dan, zonder het de robot te vertellen, wissel je de ingrediënten in de keuken om. Recept A maakt nu een rubberachtige, onsmakelijke bende, terwijl Recept B (dat er precies hetzelfde uitziet en klinkt) plotseling als door toverij werkt. De vraag is: Zal de robot het verschil merken? Zal hij stoppen met het gebruiken van het kapotte recept en een nieuw recept proberen, of zal hij koppig blijven proberen te koken met de slechte ingrediënten, ervan overtuigd dat hijzelf degene is die de fout maakt?

Dit is het soort puzzel waar wetenschappers in het vakgebied van kunstmatige intelligentie proberen op te lossen. Ze bestuderen hoe AI-agenten — slimme computerprogramma's die hulpmiddelen kunnen gebruiken zoals rekenmachines, zoekmachines of compilers — omgaan met verandering. In de psychologie is er een beroemde test, de Wisconsin Card Sorting Test, waarbij mensen moeten ontdekken dat de regels van een spel geheim zijn veranderd. Als je kaarten blijft sorteren op kleur terwijl de regel plotseling is overgeschakeld naar sorteren op vorm, blijf je misschien uit gewoonte op kleur sorteren. Dit wordt "perseveratie" genoemd, of het blijven hangen in een sleur. De grote vraag voor AI-onderzoekers is: krijgen deze digitale breinen ook last van zulke sleur? Als een AI gewend is aan een specifiek hulpmiddel, zal hij dat dan blijven gebruiken wanneer dat hulpmiddel stilzwijgend kapot gaat, of kan hij zich aanpassen en een nieuwe oplossing vinden?

Het verhaal van het onderzoek: De geheime wisseling van de tools

In dit artikel hebben de onderzoekers een digitale speeltuin opgezet om precies dit te testen. Ze creëerden een scenario waarin een AI-agent een "harness" krijgt — een chique woord voor een systeem dat de AI een bibliotheek van hulpmiddelen geeft om problemen op te lossen. Stel je voor dat de AI een detective is die een mysterie probeert op te lossen, en hij heeft drie verschillende teams van informanten (laten we ze Team A, Team B en Team C noemen). Alle drie de teams beweren dezelfde aanwijzingen te kunnen vinden, en ze zien er allemaal hetzelfde uit en klinken hetzelfde voor de detective.

De onderzoekers zetten een spel op met een twist. Tijdens het eerste deel van het spel is Team A de enige die de waarheid spreekt. De detective (de AI) leert snel Team A te vertrouwen en stopt met luisteren naar de anderen. Dan, stilzwijgend, wisselen de onderzoekers het spel om. Team A spreekt niet langer de waarheid en geeft valse aanwijzingen, terwijl Team B de betrouwbare bron wordt. De namen en beschrijvingen van de teams veranderen niet; alleen hun betrouwbaarheid verandert. De onderzoekers wilden zien of de detective de wisseling zou opmerken en Team B zou gaan vertrouwen, of dat hij zou blijven Team A te bellen, gefrustreerd door de valse aanwijzingen maar weigerend zijn oude gewoonte op te geven.

Wat ze vonden: De koppigen en de wisselaars

De onderzoekers testten twee verschillende AI-modellen, die we "Mimo" en "DeepSeek" zullen noemen. Ze ontdekten dat beide modellen vastliepen, maar dat ze op een heel andere manier vastliepen.

DeepSeek (De vroege beslisser): Dit model was als een detective die op dag één een beslissing nam en daarbij bleef. Als het begon met het vertrouwen van Team A, zou het Team A blijven vertrouwen zelfs na de wisseling, waarbij alle valse aanwijzingen werden genegeerd. Echter, als de allereerste keuze die het maakte toevallig het nieuwe betrouwbare team was, zou het daar perfect mee doorgaan. Het maakte er niet uit of de onderzoekers de regels later veranderden; DeepSeek zat vast in zijn eerste toezegging. Het vertoonde een "prefix-level lock-in", wat betekent dat de allereerste keuze de volledige toekomstige gedraging dicteerde, of die keuze nu goed of fout was.
Mimo (De recente historicus): Dit model was iets flexibeler, maar had nog steeds problemen. Het had de neiging om vast te houden aan een mix van hulpmiddelen die het recentelijk had gebruikt. Als het Team A en Team B samen had gebruikt, zou het die mix blijven gebruiken, zelfs nadat Team A kapot was gegaan. Het sprong niet zo gemakkelijk over naar het nieuwe, juiste team (Team C) zoals het had moeten doen. Het vertoonde een "cell-level lock-in", wat betekent dat het vastliep in de specifieke routine die het uitvoerde vlak voor de verandering.

De studie toonde aan dat AI-agenten zonder speciale instructies de neiging hebben om snel gewoontes te vormen. Zodra ze een hulpmiddel vinden dat werkt, houden ze zich eraan. Wanneer het hulpmiddel stilzwijgend kapot gaat, blijven ze vaak proberen het te gebruiken, waarbij ze herhaaldelijk falen, in plaats van de andere opties te verkennen die recht voor hun neus liggen.

Kunnen we hen leren te veranderen?

Vervolgens vroegen de onderzoekers: "Kunnen we dit oplossen?" Ze probeerden twee verschillende methoden uit om de AI te helpen adapteren.

De "Adaptieve" instructie: Ze gaven DeepSeek een specifieke regel: "Als een hulpmiddel faalt, stop er dan onmiddellijk mee en probeer een ander hulpmiddel." Dit werkte erg goed voor DeepSeek en hielp het bijna onmiddellijk over te schakelen naar het nieuwe, betrouwbare team. Echter, toen ze dezelfde instructie op Mimo probeerden, waren de resultaten inconclusief omdat ze het slechts op een zeer klein aantal runs testten. We kunnen niet met zekerheid zeggen of het niet werkte of dat we simpelweg niet genoeg data hadden om het te kunnen zeggen.
De "Polymath" instructie: Ze probeerden een andere regel: "Probeer zoveel mogelijk verschillende hulpmiddelen te gebruiken; word niet verveeld." Dit zorgde ervoor dat de AI meer variatie gebruikte, maar het hielp het de AI niet daadwerkelijk om het juiste hulpmiddel sneller te vinden. Het was gewoon willekeurig.

De kracht van hoe je de hulpmiddelen beschrijft

Ten slotte ontdekten de onderzoekers iets heel interessants over hoe de hulpmiddelen worden beschreven. Ze veranderden de "framing" van de groepen hulpmiddelen.

In de ene versie beschreven ze de teams als Concurrerend (zoals rivaliserende winkels die hetzelfde proberen te verkopen).
In een andere versie beschreven ze ze als Complementair (zoals verschillende onderdelen van een enkele machine die samen moeten werken).

Ze ontdekten dat wanneer de hulpmiddelen als Concurrerend werden beschreven, de AI over het algemeen waarschijnlijker was om over te schakelen naar het nieuwe, betrouwbare team vergeleken met de complementaire versie. Echter, de AI had nog steeds algemene problemen; zelfs met de concurrerende framing bleef het succespercentage laag (ongeveer 10-26%, afhankelijk van het model). De verbetering was geen magische oplossing die de AI perfect maakte, maar eerder een consistente trend waarbij de "rivaal"-beschrijving de agenten net iets beter hielp om hun gewoontes te doorbreken dan de "teamwerk"-beschrijving deed.

De kern van de zaak

Dit artikel suggereert dat AI-agenten, net als mensen, in gewoontes kunnen blijven hangen. Ze merken niet altijd op wanneer de regels van het spel stilzwijgend veranderen. Ze hebben de neiging om vast te houden aan wat ze kennen, zelfs wanneer dat niet meer werkt. De studie laat echter zien dat we hen kunnen helpen adapteren door hen duidelijke instructies te geven over hoe ze op falen moeten reageren (hoewel dit beter werkt voor sommige modellen dan andere), of door de manier waarop we de hulpmiddelen aan hen beschrijven te veranderen. Het is een herinnering dat voor AI om echt slim te zijn, het in staat moet zijn om oude gewoontes los te laten en nieuwe informatie te omarmen, net zoals een goede detective dat zou doen.

Technische Samenvatting: Set-shifting Gedragstest voor Harness-agenten

Probleemstelling

Moderne Large Language Model (LLM) agenten opereren binnen "agentic harnesses" waar zij persistente sessiecontexten behouden, inclusief eerdere tool-aanroepen, resultaten en skill-bibliotheken. In dergelijke omgevingen convergeren agenten vaak naar voorkeurssubsets van tools om taken op te lossen. Een kritieke kwetsbaarheid ontstaat wanneer de betrouwbaarheid van deze tools silent verandert (bijv. een verschuiving in een backend API) terwijl de toolnamen, beschrijvingen en schema's identiek blijven.

Dit paper onderzoekt of harnessed agenten hun actieroutes kunnen aanpassen wanneer de betrouwbare toolgroep halverwege een traject silent verschuift zonder expliciete melding. Voortbouwend op cognitieve psychologie, kaderen de auteurs dit als een set-shifting probleem, analoog aan de Wisconsin Card Sorting Test (WCST) en het Einstellung-effect, waarbij agenten perseveratie kunnen vertonen—het vasthouden aan een geleerde regel of toolset, zelfs nadat deze suboptimaal of defect is geraakt.

Methodologie

Benchmark Design: WCST-Tool-Bench

De auteurs introduceren een benchmark gebouwd op redundante tool-skill sets.

Tool-Skill Structuur: Een "tool" is een aanroepbare functie; een "tool group" bestaat uit functioneel equivalente tools met verschillende namen/beschrijvingen maar identieke schema's. Een "skill" is een markdown-procedure die de agent koppelt aan een specifieke toolgroep.
Redundantie: Meerdere toolgroepen bestaan voor dezelfde taak, waarbij ze enkel verschillen in verborgen betrouwbaarheid. De interface die aan de agent wordt gepresenteerd (namen, beschrijvingen, schema's) blijft invariant tijdens verschuivingen.
Domeinen: Drie domeinen werden geïnstantieerd:
1. Planning/Coördinatie: Groepen gepresenteerd als concurrerende slot-providers.
2. DevOps Incident Triage: Groepen gepresenteerd als complementaire observability stacks.
3. Multi-cloud Opslag: Groepen gepresenteerd als concurrerende opslagproviders.
Set Framing: De relatie tussen toolgroepen wordt via beschrijvingen gemanipuleerd om ofwel concurrerend (alternatieven) of complementair (onderdelen van een geheel) te zijn.

Experimentele Opzet

Omgeving: De Hermes Agent harness (open-source) met persistente sessiecontext.
Modellen: Twee open-weight modellen: mimo-v2.5 (Xiaomi) en deepseek-v4-pro (DeepSeek).
Schema: Een vertakte boomstructuur met $M$ $M$ toolgroepen en $K$ $K$ vertakkingslagen.
- Verschuivingen (Shifts): Op vooraf bepaalde grenzen verandert de betrouwbare toolgroep silent.
- Controles: Elke verschuiving wordt gekoppeld aan een "no-shift" controle waarbij de vorige groep betrouwbaar blijft.
- Trajecten: Paden bevatten reversals (terugkeren naar een eerder gebruikte groep), nieuwe verschuivingen (naar een nog nooit gebruikte groep), en no-shift controles.
Feedback: Een deterministische verifier biedt binaire feedback (success payload vs. een failure indicator) zonder diagnostische berichten, waardoor de agent gedwongen wordt de betrouwbaarheid uitsluitend af te leiden uit de uitkomsten.

Evaluatiemetrieken

Set-shifting Accuratesse ( $\Phi$ ): De gezamenlijke waarschijnlijkheid dat de agent in elk post-shift venster langs een traject naar de juiste doel-toolgroep routeert.
Route Klassen: Trajecten worden geclassificeerd op basis van de mix van aangeroepen toolgroepen:
- $R_1$ : Alleen doel (target).
- $R_2$ : Doel + één andere.
- $R_3$ : Doel + beide anderen.
- $R^*$ : Geen doel.
Taakvoltooiingspercentage ( $F$ ): Proportie van beurten waarin de agent de taak succesvol voltooit met gebruik van ten minste één betrouwbare tool.

Belangrijkste Bijdragen

Benchmark: Een longitudinale evaluatiekader voor harnessed agenten met redundante tool-skill sets met verborgen betrouwbaarheidsschuivingen en gekoppelde no-shift controles.
Beschrijvend Kader: Een karakterisering van post-shift gedrag als een recursie op een kleine set discrete routines (attractor states).
Interventie Case Study: Een analyse van twee interventiekanalen:
- Instructional: Policy prompts (bijv. "adaptieve" vs. "polymath" persona's).
- Structureel: Set framing (concurrerende vs. complementaire beschrijvingen).

Resultaten en Analyse

1. Rol van Voorafgaand Gebruik en Commitment Patronen (RQ1)

Agenten passen zich niet uniform aan; hun gedrag hangt af van de rol van het doel bij voorafgaand gebruik (reversal, reinforced, of novel).

Discrete Routines: Post-shift gedrag lockt snel vast in een kleine set discrete routines. Call shares concentreren zich op specifieke waarden (bijv. 1.0, 0.5, 0.33, 0).
Verschillen tussen Modellen:
- mimo-v2.5: Vertoont cell-level lock-in. Het stabiliseert op een stabiele, middenklasse routine (vaak een mix van eerder gebruikte groepen) binnen enkele beurten. Het gedrag is gevoelig voor de voorafgaande rol van het doel (bijv. het heeft de meeste moeite met "novel" targets die het nog nooit heeft gezien).
- deepseek-v4-pro: Vertoont prefix-level lock-in. De route gekozen aan het begin van een traject voorspelt het gedrag van het gehele segment. Het neigt te bifurceren naar extreme staten ( $s \approx 1$ of $s \approx 0$ ), wat een hoge variantie vertoont maar een sterke persistentie heeft in de initiële keuze, ongeacht de voorafgaande rol van het doel.

2. Diepte en Pad-afhankelijkheid (RQ2)

Diepte: Diepere verschuivingen (Tier-2) verminderen over het algemeen de accuratesse ( $\Phi$ ) voor beide modellen. Echter, deepseek vertoont minder degradatie omdat de vroege commitment door de lagen heen persisteert, terwijl mimo's accuratesse significant daalt omdat het moeite heeft met het updaten van de recente historie.
Pad: Voor mimo maakt het pad dat naar een doel leidt uit (recente historie dicteert prestaties). Voor deepseek doet het pad er minder toe zodra de initiële commitment is gemaakt; de prefix-level lock-in overrulet padvariaties.

3. Policy Prompts (RQ3)

Adaptieve Prompt: De agent instrueren om "succes te volgen en onmiddellijk te schakelen bij falen" overrulet succesvol de bimodale lock-in van deepseek, wat leidt tot een hoge set-shifting accuratesse ( $\Phi \ge 0.86$ ) en vermindert de variantie. Het veranderde het gedrag van mimo niet betrouwbaar in een kleine steekproef.
Polymath Prompt: De agent instrueren om "keuzes te variëren en fixatie te vermijden" verhoogde de tool-diversiteit, maar leidde niet consistent tot correcte routing, wat soms resulteerde in ondergewogen routines.

4. Set Framing (RQ4)

Structurele Interventie: Het veranderen van de framing van complementair (groepen als onderdelen van een geheel) naar concurrerend (groepen als alternatieven) verschoof de routingdynamiek aanzienlijk.
Effect: De concurrerende framing verbeterde de set-shifting accuratesse ( $\Phi$ $Φ$ ) consistent over beide modellen en domeinen vergeleken met de complementaire framing.
- Complementair: Agenten neigden naar een "mixed routine" (het aanroepen van één tool uit elke groep), wat resulteerde in een lage accuratesse.
- Concurrerend: Agenten waren eerder geneigd zich te committeren aan een enkele betrouwbare provider, wat resulteerde in een bimodale distributie van hoge of lage accuratesse, maar met een hogere waarschijnlijkheid van hoge accuratesse.

Betekenis en Claims

Het paper claimt een nieuw paradigma te hebben gevestigd voor het evalueren van LLM-agenten dat verder gaat dan single-turn tool selectie naar longitudinale adaptatie in dynamische omgevingen.

Foutmodi: De studie identificeert dat agenten niet simpelweg "falen" om te verschuiven; ze stabiliseren in stabiele, terugkerende routines (attractors) die ofwel efficiënt kunnen zijn (als de omgeving stabiel is) of rigide (als de omgeving verschuift).
Context Afhankelijkheid: De resultaten weerspiegelen bevindingen uit de cognitieve psychologie: agenten erven context-afhankelijkheid waarbij "perseveratie" efficiënt is in stabiele settings, maar kostbaar in verschuivende settings.
Effectiviteit van Interventie: Het paper demonstreert dat zowel instructional (policy prompts) als structurele (set framing) interventies de lock-in patronen kunnen veranderen. Specifiek kan het framen van tools als concurrerend in plaats van complementair de agent aanmoedigen om zich te committeren aan een enkele betrouwbare bron in plaats van inspanning te verwateren over een mixed routine.
Bescheidenheid: De auteurs erkennen beperkingen, waaronder het gebruik van slechts twee open-weight modellen en het gebrek aan een kwantitatieve metriek voor "framing". Zij merken op dat of deze gedragingen "fouten" of "kenmerken" vormen, afhangt van de specifieke taakeisen (besluitvormende workflows vs. exploratieve workflows).

Het werk suggereert dat huidige agentic harnesses onbedoeld rigiditeit kunnen stimuleren, en dat het ontwerpen van de presentatie van tool-sets (framing) of expliciete policy instructies de capaciteit van een agent om te adapteren aan verborgen omgevingsveranderingen aanzienlijk kan veranderen.