🤖 AI

Set-shifting Behavioral Test for Harnessed Agents

Dieses Paper führt einen Set-Shifting-Verhaltenstest ein, um zu evaluieren, wie LLM-Agenten sich an verborgene Änderungen in der Zuverlässigkeit von Werkzeugen anpassen, wobei aufgezeigt wird, dass Agenten dazu neigen, starr auf spezifische Routinen mit distinkten Fehlermodi zu verharren, welche zudem durch die Art und Weise beeinflusst werden, wie das Werkzeugset gerahmt wird.

Ursprüngliche Autoren: Ziwei Ye

Veröffentlicht 2026-07-16

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ziwei Ye

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter-Butler das Kochen eines Abendessens bei. Sie geben ihm ein riesiges Kochbuch mit zehn verschiedenen Rezepten für „Rührei“. Zuerst funktioniert Rezept A perfekt. Der Roboter gewöhnt sich daran, lernt die Schritte auswendig und bereitet jedes Mal köstliches Ei zu. Doch dann tauschen Sie, ohne es dem Roboter zu sagen, die Zutaten in der Küche aus. Rezept A liefert nun ein gummiartiges, ungenießbares Chaos, während Rezept B (das genauso aussieht und klingt) plötzlich wie durch Zauberei funktioniert. Die Frage ist: Wird der Roboter die Änderung bemerken? Wird er aufhören, das kaputte Rezept zu verwenden, und ein neues ausprobieren, oder wird er stur versuchen, mit den schlechten Zutaten weiterzukochen, in der festen Überzeugung, dass er selbst derjenige ist, der den Fehler macht?

Dies ist die Art von Rätsel, das Wissenschaftler auf dem Gebiet der Künstlichen Intelligenz zu lösen versuchen. Sie untersuchen, wie KI-Agenten – intelligente Computerprogramme, die Werkzeuge wie Taschenrechner, Suchmaschinen oder Code-Compiler nutzen können – mit Veränderungen umgehen. In der Psychologie gibt es einen berühmten Test, den Wisconsin Card Sorting Test, bei dem Menschen herausfinden müssen, dass sich die Regeln eines Spiels heimlich geändert haben. Wenn man weiterhin Karten nach Farbe sortiert, obwohl die Regel plötzlich auf das Sortieren nach Form gewechselt hat, beharrt man aus Gewohnheit auf dem Sortieren nach Farbe. Dies nennt man „Perseveration“ oder das Steckenbleiben in einer Routine. Die große Frage für KI-Forscher ist: Entwickeln diese digitalen Gehirne ebenfalls solche Routinen? Wenn eine KI sich an ein bestimmtes Werkzeug gewöhnt hat, wird sie es auch dann weiter verwenden, wenn dieses Werkzeug still und leise kaputtgeht, oder kann sie sich anpassen und eine neue Lösung finden?

Die Geschichte des Papers: Der geheime Werkzeugtausch

In diesem Paper haben die Forscher einen digitalen Spielplatz geschaffen, um genau dies zu testen. Sie entwarfen ein Szenario, in dem ein KI-Agent ein „Harness“ erhält – ein schicker Begriff für ein System, das der KI eine Bibliothek von Werkzeugen zur Problemlösung zur Verfügung stellt. Stellen Sie sich vor, die KI ist ein Detektiv, der versucht, ein Geheimnis zu lösen, und sie hat drei verschiedene Teams von Informanten (nennen wir sie Team A, Team B und Team C). Alle drei Teams behaupten, dieselben Hinweise finden zu können, und sie alle sehen gleich aus und klingen gleich.

Die Forscher gestalteten ein Spiel mit einem Twist. Im ersten Teil des Spiels ist Team A das einzige, das die Wahrheit sagt. Der Detektiv (die KI) lernt schnell, Team A zu vertrauen, und hört auf, den anderen zuzuhören. Dann tauschen die Forscher still und leise das Spiel aus. Team A sagt nicht mehr die Wahrheit, sondern liefert falsche Hinweise, während Team B zur zuverlässigen Quelle wird. Die Namen und Beschreibungen der Teams ändern sich nicht; nur ihre Zuverlässigkeit tut es. Die Forscher wollten sehen, ob der Detektiv den Wechsel bemerken und anfangen würde, Team B zu vertrauen, oder ob er weiterhin Team A anrufen würde, frustriert über die falschen Hinweise, aber unfähig, seine alte Gewohnheit aufzuge-ben.

Was sie fanden: Die Sturköpfe und die Wechsler

Die Forscher testeten zwei verschiedene KI-Modelle, die wir „Mimo“ und „DeepSeek“ nennen werden. Sie fanden heraus, dass beide Modelle stecken blieben, aber auf sehr unterschiedliche Weise.

DeepSeek (Der frühe Entscheider): Dieses Modell war wie ein Detektiv, der am ersten Tag eine Entscheidung traf und dabei blieb. Wenn es damit begann, Team A zu vertrauen, vertraute es auch nach dem Wechsel weiterhin Team A und ignorierte alle falschen Hinweise. Wenn jedoch die allererste Wahl, die es traf, zufällig das neue zuverlässige Team war, blieb es perfekt bei diesem. Es spielte keine Rolle, ob die Forscher später die Regeln änderten; DeepSeek war in seiner ersten Entscheidung gefangen. Es zeigte einen „Präfix-Level Lock-in“, was bedeutet, dass seine allererste Wahl sein gesamtes zukünftiges Verhalten diktierte, egal ob diese Wahl richtig oder falsch war.
Mimo (Der jüngere Historiker): Dieses Modell war etwas flexibler, hatte aber dennoch Schwierigkeiten. Es neigte dazu, sich an eine Mischung aus Werkzeugen zu halten, die es kürzlich verwendet hatte. Wenn es Team A und Team B zusammen verwendet hatte, nutzte es diese Mischung auch nach dem Ausfall von Team A weiter. Es konnte nicht so leicht zum neuen, richtigen Team (Team C) wechseln, wie es eigentlich sollte. Es zeigte einen „Cell-Level Lock-in“, was bedeutet, dass es in der spezifischen Routine stecken blieb, die es unmittelbar vor der Änderung ausführte.

Die Studie zeigte, dass KI-Agenten ohne spezielle Anweisungen dazu neigen, schnell Gewohnheiten zu bilden. Sobald sie ein Werkzeug finden, das funktioniert, bleiben sie dabei. Wenn das Werkzeug lautlos ausfällt, versuchen sie oft weiter, es zu benutzen und scheitern wiederholt, anstatt die anderen Optionen zu erkunden, die direkt vor ihnen liegen.

Können wir sie lehren, sich zu ändern?

Die Forscher fragten daraufhin: „Können wir das beheben?“ Sie probierten zwei verschiedene Methoden aus, um der KI beim Anpassen zu helfen.

Die „adaptive“ Anweisung: Sie gaben DeepSeek eine spezifische Regel: „Wenn ein Werkzeug fehlschlägt, höre sofort auf, es zu benutzen, und probiere ein anderes aus.“ Dies funktionierte sehr gut für DeepSeek und half ihm, fast augenblicklich zum neuen, zuverlässigen Team zu wechseln. Als sie jedoch dieselbe Anweisung bei Mimo testeten, waren die Ergebnisse nicht eindeutig, da sie dies nur bei einer sehr geringen Anzahl von Durchläufen testeten. Wir können nicht sicher sagen, ob es nicht funktionierte oder ob wir einfach nicht genug Daten hatten, um es zu sagen.
Die „Polymath“-Anweisung: Sie probierten eine andere Regel aus: „Versuche, so viele verschiedene Werkzeuge wie möglich zu benutzen; werde nicht gelangweilt.“ Dies führte dazu, dass die KI mehr Vielfalt nutzte, half ihr aber nicht dabei, das richtige Werkzeug schneller zu finden. Sie war lediglich zufällig.

Die Macht der Beschreibung der Werkzeuge

Schließlich entdeckten die Forscher etwas wirklich Interessantes darüber, wie die Werkzeuge beschrieben werden. Sie änderten das „Framing“ (die Einrahmung) der Werkzeuggruppen.

In einer Version wurden die Teams als konkurrierend beschrieben (wie Rivalen-Läden, die versuchen, Ihnen dasselbe zu verkaufen).
In einer anderen Version wurden sie als komplementär beschrieben (wie verschiedene Teile einer einzigen Maschine, die zusammenarbeiten müssen).

Sie fanden heraus, dass die KI allgemein eher dazu neigte, zum neuen, zuverlässigen Team zu wechseln, wenn die Werkzeuge als konkurrierend beschrieben wurden, im Vergleich zur komplementären Version. Dennoch hatte die KI insgesamt weiterhin Schwierigkeiten; selbst mit dem konkurrierenden Framing blieb die Erfolgsquote recht niedrig (je nach Modell etwa 10–26 %). Die Verbesserung war keine magische Lösung, die die KI perfekt machte, sondern vielmehr ein konsistenter Trend, bei dem die Beschreibung als „Rivalen“ den Agenten half, ihre Gewohnheiten etwas besser zu durchbrechen als die „Teamwork“-Beschreibung.

Das Fazit

Dieses Paper legt nahe, dass KI-Agenten, genau wie Menschen, in Gewohnheiten stecken bleiben können. Sie bemerken nicht immer, wenn sich die Regeln eines Spiels lautlos ändern. Sie neigen dazu, bei dem zu bleiben, was sie kennen. Selbst wenn es nicht funktioniert. Die Studie zeigt jedoch auch, dass wir ihnen helfen können, sich anzupassen, indem wir ihnen klare Anweisungen geben, wie sie auf Fehler reagieren sollen (obwohl dies bei manchen Modellen besser funktioniert als bei anderen), oder indem wir die Art und Weise ändern, wie wir die Werkzeuge beschreiben. Es ist eine Erinnerung daran, dass eine KI wirklich intelligent sein muss, wenn sie in der Lage sein soll, alte Gewohnheiten loszulassen und neue Informationen anzunehmen – genau wie ein guter Detektiv.

Technisches Resümee: Ein Set-Shifting-Verhaltenstest für gehostete Agenten

Problemstellung

Moderne Large Language Model (LLM) Agenten operieren innerhalb von „Agentic Harnesses“ (agentischen Gerüsten), in denen sie persistente Sitzungskontexte aufrechterhalten, einschließlich vorangegangener Tool-Aufrufe, Ergebnisse und Skill-Bibliotheken. In solchen Umgebungen konvergieren Agenten oft auf bevorzugte Teilmengen von Tools zur Lösung von Aufgaben. Eine kritische Schwachstelle entsteht, wenn sich die Zuverlässigkeit dieser Tools lautlos ändert (z. B. durch einen Wechsel im Backend-API), während die Tool-Namen, Beschreibungen und Schemata identisch bleiben.

Diese Arbeit untersucht, ob gehostete Agenten in der Lage sind, ihre Aktionspfade anzupassen, wenn sich die zuverlässige Tool-Gruppe mitten in einer Trajektorie ohne explizite Benachrichtigung verschiebt. In Anlehnung an die kognitive Psychologie rahmen die Autoren dies als ein Set-Shifting-Problem (Einstellungswechsel-Problem) ein, analog zum Wisconsin Card Sorting Test (WCST) und dem Einstellung-Effekt, bei dem Agenten zur Perseveration neigen – also dazu, an einer gelernten Regel oder einem Toolset festzuhalten, selbst wenn dieses suboptimal oder defekt geworden ist.

Methodik

Benchmark-Design: WCST-Tool-Bench

Die Autoren führen eine Benchmark ein, die auf redundanten Tool-Skill-Sets basiert.

Tool-Skill-Struktur: Ein „Tool“ ist eine aufrufbare Funktion; eine „Tool-Gruppe“ besteht aus funktional äquivalenten Tools mit unterschiedlichen Namen/Beschreibungen, aber identischen Schemata. Ein „Skill“ ist eine Markdown-Prozedur, die den Agenten mit einer spezifischen Tool-Gruppe verbindet.
Redundanz: Es existieren mehrere Tool-Gruppen für dieselbe Aufgabe, die sich lediglich in ihrer verborgenen Zuverlässigkeit unterscheiden. Die Schnittstelle, die dem Agenten präsentiert wird (Namen, Beschreibungen, Schemata), bleibt über die Verschiebungen hinweg invariant.
Domänen: Drei Domänen wurden instanziiert:
1. Terminplanung/Koordination: Gruppen werden als konkurrierende Slot-Anbieter präsentiert.
2. DevOps Incident Triage: Gruppen werden als komplementäre Observability-Stacks präsentiert.
3. Multi-Cloud-Speicher: Gruppen werden als konkurrierende Speicheranbieter präsentiert.
Set-Framing: Die Beziehung zwischen den Tool-Gruppen wird über Beschreibungen entweder als konkurrierend (Alternativen) oder komplementär (Teile eines Ganzen) manipuliert.

Experimentelles Setup

Umgebung: Das Hermes Agent Harness (Open-Source) mit persistentem Sitzungskontext.
Modelle: Zwei Open-Weight-Modelle: mimo-v2.5 (Xiaomi) und deepseek-v4-pro (DeepSeek).
Zeitplan: Eine verzweigte Baumstruktur mit $M$ $M$ Tool-Gruppen und $K$ $K$ Verzweigungsschichten.
- Shifts (Verschiebungen): An vordefinierten Grenzen ändert sich die zuverlässige Tool-Gruppe lautlos.
- Kontrollen: Jeder Shift ist mit einer „No-Shift“-Kontrolle gepaart, bei der die vorherige Gruppe zuverlässig bleibt.
- Trajektorien: Die Pfade beinhalten Reversierungen (Rückkehr zu einer zuvor genutzten Gruppe), neuartige Shifts (Wechsel zu einer nie genutzten Gruppe) und No-Shift-Kontrollen.
Feedback: Ein deterministischer Verifizierer liefert binäres Feedback (Erfolgs-Payload vs. Fehlerindikator) ohne diagnostische Nachrichten, was den Agenten zwingt, die Zuverlässigkeit ausschließlich aus den Ergebnissen abzuleiten.

Evaluierungsmetriken

Set-Shifting-Genauigkeit ( $\Phi$ ): Die gemeinsame Wahrscheinlichkeit, dass der Agent in jedem Post-Shift-Fenster entlang einer Trajektorie zur korrekten Ziel-Tool-Gruppe routet.
Routen-Klassen: Trajektorien werden nach der Mischung der aufgerufenen Tool-Gruppen klassifiziert:
- $R_1$ : Nur das Ziel.
- $R_2$ : Ziel + ein anderes.
- $R_3$ : Ziel + beide anderen.
- $R^*$ : Kein Ziel.
Aufgabenabschlussrate ( $F$ ): Anteil der Turns, in denen der Agent die Aufgabe erfolgreich unter Verwendung mindestens eines zuverlässigen Tools abschließt.

Zentrale Beiträge

Benchmark: Ein longitudinales Evaluierungsframework für gehostete Agenten unter Verwendung redundanter Tool-Skill-Sets mit verborgenen Zuverlässigkeitswechseln und gepaarten No-Shift-Kontrollen.
Deskriptives Framework: Eine Charakterisierung des Post-Shift-Verhaltens als Rekurrenz auf einem kleinen Satz diskreter Routinen (Attraktorzustände).
Interventions-Fallstudie: Eine Analyse zweier Interventionskanäle:
- Instruktional: Policy-Prompts (z. B. „adaptive“ vs. „polymath“ Personas).
- Strukturell: Set-Framing (konkurrierend vs. komplementär).

Ergebnisse und Analyse

1. Rollen der vorherigen Nutzung und Commitment-Muster (RQ1)

Agenten passen sich nicht einheitlich an; ihr Verhalten hängt von der Rolle des Ziels in der vorherigen Nutzung ab (Reversal, Reinforced oder Novel).

Diskrete Routinen: Das Post-Shift-Verhalten verfestigt sich schnell in einem kleinen Satz diskreter Routinen. Die Aufrufanteile konzentrieren sich auf spezifische Werte (z. B. 1.0, 0.5, 0.33, 0).
Modellunterschiede:
- mimo-v2.5: Zeigt ein Cell-Level Lock-in. Es pendelt sich innerhalb weniger Turns auf einer stabilen, mittleren Routine ein (oft eine Mischung aus zuvor genutzten Gruppen). Sein Verhalten reagiert sensibel auf die Rolle des Ziels (es hat die größten Schwierigkeiten mit „Novel“-Zielen, die es noch nie gesehen hat).
- deepseek-v4-pro: Zeigt ein Prefix-Level Lock-in. Die zu Beginn einer Trajektorie gewählte Route sagt das Verhalten des gesamten Segments voraus. Es tendiert dazu, in extreme Zustände zu bifurkieren ( $s \approx 1$ oder $s \approx 0$ ), was eine hohe Varianz, aber eine starke Persistenz in der ursprünglichen Wahl unabhängig von der Rolle des Ziels zeigt.

2. Tiefe und Pfadabhängigkeit (RQ2)

Tiefe: Tiefere Shifts (Tier-2) reduzieren generell die Genauigkeit ( $\Phi$ ) für beide Modelle. deepseek zeigt jedoch weniger Degradation, da sein frühes Commitment durch die Schichten hindurch anhält, während die Genauigkeit von mimo signifikant sinkt, da es Schwierigkeiten hat, seine jüngste Historie zu aktualisieren.
Pfad: Für mimo spielt der Pfad, der zum Ziel führt, eine Rolle (die jüngste Historie bestimmt die Performance). Für deepseek spielt der Pfad eine geringere Rolle, sobald das initiale Commitment erfolgt ist; das Prefix-Level Lock-in überlagert Pfadvariationen.

3. Policy-Prompts (RQ3)

Adaptiver Prompt: Die Anweisung an den Agenten, „Erfolg zu verfolgen und bei Fehlschlag sofort zu wechseln“, überschreibt erfolgreich den bimodalen Lock-in von deepseek, erreicht eine hohe Set-Shifting-Genauigkeit ( $\Phi \ge 0.86$ ) und reduziert die Varianz. Bei mimo bewirkte dies in einer kleinen Stichprobe keine zuverlässige Änderung.
Polymath-Prompt: Die Anweisung an den Agenten, „Wahlen zu variieren und Fixierungen zu vermeiden“, erhöhte die Tool-Diversität, verbesserte jedoch nicht konsistent das korrekte Routing und führte teilweise zu untergewichteten Routinen.

4. Set-Framing (RQ4)

Strukturelle Intervention: Die Änderung des Framings von komplementär (Gruppen als Teile eines Ganzen) zu konkurrierend (Gruppen als Alternativen) verschob die Routing-Dynamik signifikant.
Effekt: Das konkurrierende Framing verbesserte die Set-Shifting-Genauigkeit ( $\Phi$ $Φ$ ) über beide Modelle und Domänen hinweg im Vergleich zum komplementären Framing konsistent.
- Komplementär: Agenten neigten zu einer „Mixed Routine“ (Aufruf eines Tools aus jeder Gruppe), was zu einer geringen Genauigkeit führte.
- Konkurrierend: Agenten waren eher bereit, sich auf einen einzelnen zuverlässigen Anbieter zu konzentrieren, was zu einer bimodalen Verteilung von hoher oder niedriger Genauigkeit führte, aber eine höhere Wahrscheinlichkeit für hohe Genauigkeit aufwies.

Signifikanz und Ansprüche

Das Paper beansprucht, ein neues Paradigma für die Evaluierung von LLM-Agenten etabliert zu haben, das über die Single-Turn-Tool-Selektion hinausgeht und die longitudinale Adaptation in dynamischen Umgebungen betrachtet.

Fehlermodi: Die Studie identifiziert, dass Agenten nicht einfach nur „scheitern“, sondern sich in stabilen, rekurrenten Routinen (Attraktoren) festsetzen, die entweder effizient (wenn die Umgebung stabil ist) oder starr (wenn die Umgebung wechselt) sein können.
Kontextabhängigkeit: Die Ergebnisse spiegeln Erkenntnisse der kognitiven Psychologie wider: Agenten erben Kontextabhängigkeit, wobei „Perseveration“ in stabilen Settings effizient, in wechselnden Settings jedoch kostspielig ist.
Wirksamkeit von Interventionen: Das Paper zeigt, dass sowohl instruktionale (Policy-Prompts) als auch strukturelle (Set-Framing) Interventionen diese Lock-in-Muster verändern können. Insbesondere das Framing von Tools als konkurrierend statt komplementär kann Agenten dazu bewegen, sich auf eine einzige zuverlässige Quelle zu konzentrieren, anstatt die Bemühungen durch eine gemischte Routine zu verwässern.
Bescheidenheit: Die Autoren räumen Einschränkungen ein, darunter die Verwendung von nur zwei Open-Weight-Modellen und das Fehlen eines quantitativen Metrik für „Framing“. Sie merken an, dass es von den spezifischen Anforderungen der Aufgabe abhängt, ob dieses Verhalten als „Fehler“ oder als „Feature“ zu werten ist (entscheidungsorientierte Workflows vs. explorative Workflows).

Die Arbeit legt nahe, dass aktuelle agentische Harnesses unbeabsichtigt Rigidität fördern können und dass das Design der Präsentation von Tool-Sets (Framing) oder explizite Policy-Instruktionen die Fähigkeit eines Agenten zur Anpassung an verborgene Umweltveränderungen signifikant beeinflussen können.