💬 NLP

When Agents Look the Same: Quantifying Distillation-Induced Similarity in Tool-Use Behaviors

Dit artikel introduceert twee nieuwe metrics, Response Pattern Similarity (RPS) en Action Graph Similarity (AGS), om distillatie-geïnduceerde gedragsgelijkvormigheid in LLM-agenten te kwantificeren en onderscheid te maken tussen noodzakelijke taakgedragingen en niet-verplichte patronen die wijzen op een gemeenschappelijke afstamming.

Oorspronkelijke auteurs: Chenghao Yang, Yuning Zhang, Zhoufutu Wen, Tao Gong, Jiaheng Liu, Qi Chu, Nenghai Yu

Gepubliceerd 2026-04-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chenghao Yang, Yuning Zhang, Zhoufutu Wen, Tao Gong, Jiaheng Liu, Qi Chu, Nenghai Yu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Als Agenten op elkaar lijken: Een onderzoek naar de "kloon-gevoel" van AI

Stel je voor dat je een groep nieuwe, slimme robot-assistenten ontmoet. Ze zijn allemaal opgeleid om taken uit te voeren, zoals het boeken van een vlucht of het ruilen van een kledingstuk. Je zou verwachten dat elke robot zijn eigen unieke persoonlijkheid heeft, net als mensen. Maar wat als je merkt dat ze allemaal precies hetzelfde praten, dezelfde rare fouten maken en zelfs op precies dezelfde manier naar hun gereedschappen grijpen?

Dat is precies wat deze paper onderzoekt. De auteurs zeggen: "Het voelt alsof we al deze robots eerder hebben ontmoet." Ze noemen dit het déjà vu-effect.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Kloon-Effect"

Vroeger leerden AI-modellen door zelf te experimenteren. Nu worden ze vaak "gestudeerd" op een paar zeer slimme, dominante modellen (de "meesters"). Dit heet distillatie.

De Analogie: Stel je voor dat je een beroemde chef-kok hebt (de meester). Vervolgens sturen tien jonge koks naar school om van hem te leren. Als ze allemaal exact dezelfde recepten gebruiken, dezelfde rare manier hebben om kruiden te strooien en zelfs dezelfde fouten maken (bijvoorbeeld: "Ik heb de pan vergeten te vetten, dus ik doe het nu nog eens"), dan zijn ze geen unieke koks meer. Ze zijn klonen.
Het Gevaar: Als al je robots hetzelfde denken, dan is het systeem kwetsbaar. Als de meester een fout maakt, maken alle robots die fout. Ze kunnen elkaar niet controleren.

2. De Oplossing: Twee Nieuwe Meetlatjes

Tot nu toe was het moeilijk om te zien of robots echt van elkaar afstammen of dat ze gewoon hetzelfde doen omdat het de enige juiste manier is. De auteurs bedachten twee nieuwe manieren om dit te meten:

A. RPS: De "Spraakstijl" (Response Pattern Similarity)

Dit meet hoe robots praten.

De Analogie: Stel je voor dat je twee mensen hoort bellen. Als ze allebei zeggen: "Oh, wat vervelend! Laat me dat even voor je checken. Okay, het is geregeld!" met precies dezelfde enthousiaste toon en zinsbouw, dan lijken ze op elkaar.
Wat het meet: Het kijkt niet naar of de robot het antwoord geeft, maar hoe hij het zegt. Gebruikt hij dezelfde zinnen? Is hij even beleefd of juist even bot?

B. AGS: De "Gereedschaps-Gebruik" (Action Graph Similarity)

Dit meet hoe robots handelen en welke knoppen ze indrukken.

De Analogie: Stel je voor dat je een huis moet repareren. Iedereen moet de hamer pakken (dat is verplicht). Maar sommige mensen pakken ook eerst een ladder, terwijl anderen direct beginnen met boren. Als twee mensen altijd eerst de ladder pakken, ook al is die niet nodig, dan hebben ze een "gewoonte" die ze van elkaar hebben overgenomen.
Het slimme trucje: De auteurs splitsen het werk in twee delen:
1. Verplicht werk: Wat je moet doen om de taak af te maken (bijv. een vlucht annuleren).
2. Optioneel werk: Wat je kunt doen (bijv. eerst de klantgegevens nog eens dubbelchecken).
- Als twee robots hetzelfde optionele werk doen, is dat een sterk bewijs dat ze van dezelfde "meester" komen.

3. Wat Vonden Ze? (De Verbluffende Resultaten)

De auteurs keken naar 18 verschillende AI-modellen van grote bedrijven (zoals Google, OpenAI, DeepSeek, Moonshot) en vergeleken ze met een zeer slim model van Anthropic (Claude Sonnet).

De Familieband: Modellen van hetzelfde bedrijf lijken erg op elkaar. Dat is logisch, want ze komen uit dezelfde keuken.
De Grote Verrassing: Een model van Moonshot, genaamd Kimi-K2, bleek bijna net zo veel op de "meester" (Claude) te lijken als de eigen modellen van Anthropic!
- Kimi-K2 gebruikte precies dezelfde optionele gereedschappen en had dezelfde "spraakstijl" als Claude.
- Het was zelfs meer op elkaar gaan lijken dan sommige modellen van andere grote bedrijven.
De Conclusie: Kimi-K2 lijkt niet alleen slim te zijn, maar lijkt ook "geleerd" te hebben van Claude, waarschijnlijk via distillatie, zelfs als ze van verschillende bedrijven komen.

4. Waarom is dit belangrijk?

De auteurs zeggen: "We moeten weten wie wie is."
Als al onze AI-assistenten klonen zijn van één of twee grote modellen, verliezen we de diversiteit. Het is alsof je een bos hebt waar alle bomen exact hetzelfde zijn; als er een ziekte komt, valt het hele bos om.

Met hun nieuwe meetlatjes (RPS en AGS) kunnen we nu zien:

Is deze robot echt slim en zelfstandig?
Of is het gewoon een echo van een ander model?

Samenvattend:
Deze paper is als een detectiveverhaal in de AI-wereld. De auteurs hebben een manier gevonden om te zien of AI-modellen hun eigen "stempel" hebben, of dat ze gewoon kopieën zijn van een beroemde oorspronkelijke versie. En ze ontdekten dat veel van de nieuwste robots verrassend veel op elkaar lijken, alsof ze allemaal uit dezelfde "fabriek" komen, zelfs als ze van verschillende merken zijn.

Probleemstelling

De snelle vooruitgang van LLM-agenten (Large Language Models) wordt grotendeels gedreven door modeldistillatie, waarbij kennis wordt overgedragen van een groot "leraar"-model naar een kleiner of efficiënter "student"-model. Hoewel dit leidt tot betere prestaties, veroorzaakt het ook een gedrags-homogenisering. Veel nieuwe agenten vertonen bijna identieke redeneerstappen, overbodige tool-aanroepgewoonten en zelfs dezelfde faalpatronen.

Het huidige probleem is dat bestaande evaluatiemetrics niet kunnen onderscheiden tussen:

Verplicht gedrag: Acties die strikt nodig zijn voor het succes van de taak (bijv. het aanroepen van een specifieke API om een boeking te annuleren).
Niet-verplicht gedrag: Autonome voorkeuren van het model, zoals de specifieke formulering van antwoorden, de volgorde van optionele tools, of redundantie in verificatiestappen.

Zonder deze onderscheiding is het onmogelijk om te bepalen of twee modellen op elkaar lijken omdat er slechts één juiste oplossing is, of omdat het ene model blindelings het andere (de leraar) nabootst. Dit leidt tot een ecosysteem dat kwetsbaar is voor "collectieve hallucinaties" en gebrek aan robuustheid.

Methodologie

De auteurs stellen een nieuw raamwerk voor om distillatie-gedreven convergentie te kwantificeren door niet-verplichte gedragspatronen te isoleren. Ze introduceren twee complementaire metrics:

1. Response Pattern Similarity (RPS)

Deze metric meet de verbale gelijkenis in hoe modellen hun antwoorden formuleren.

Aanpak: Trajecten worden opgesplitst in vijf canonieke stadia: Authenticatie, Elicitatie (informatie verzamelen), Executie, Verificatie en Notificatie.
Meting: Een LLM-judge scoort de gelijkenis op drie dimensies voor gedeelde stadia:
- Stijl: Woordkeuze en vocabulaire.
- Structuur: Zinspatronen en antwoordtemplates.
- Alignement: De consistentie tussen redenering en uitgevoerde actie.
Doel: Het detecteren van overgenomen conversatiestijlen die niet door de taak worden opgelegd.

2. Action Graph Similarity (AGS)

Deze metric meet de structurele gelijkenis in tool-gebruik, gemodelleerd als gerichte grafieken.

Aanpak: Tool-aanroepen worden omgezet in een Action Flow Graph met knopen (tools) en randen (sequentieel en afhankelijkheid).
Sub-metrics:
- $S_{node}$ (Optionele Tool Agreement): Meet de consistentie in het kiezen van optionele tools. Verplichte tools worden uitgesloten omdat deze door alle succesvolle modellen worden gebruikt. Als twee modellen dezelfde optionele tools kiezen (bijv. dubbel controleren via een extra API), wijst dit op gedeelde trainingssignalen.
- $S_{seq}$ (Sequentiële Patronen): Meet lokale uitvoeringsgewoonten, zoals het patroon van "schrijven-nalezen" (verificatie na schrijven), voorafgaande bevestiging, of retry-patronen bij fouten.
- $S_{dep}$ (Afhankelijkheidspatronen): Meet hoe modellen outputs van eerdere tools hergebruiken (bijv. output reuse rate, diepte van ketens, fan-out).

Belangrijkste Bijdragen

Eerste Raamwerk voor Distillatie-Quantificatie: Het is het eerste systeem dat verplichte taakgedragingen ontkoppelt van niet-verplichte gedragspatronen in tool-use trajecten.
Nieuwe Metrics (RPS & AGS): Introductie van interpreteerbare metrics die specifiek gericht zijn op verbaal en actie-niveau gedrag, in plaats van alleen op semantische overlap.
Empirische Analyse: Een uitgebreide evaluatie van 18 modellen van 8 verschillende providers (waaronder Anthropic, OpenAI, DeepSeek, Moonshot, Google, Qwen, Zhipu) tegen een referentiemodel (Claude Sonnet 4.5).

Resultaten

De experimenten op de benchmarks $\tau$ -Bench en $\tau^2$ -Bench leveren de volgende bevindingen op:

Familie-interne consistentie: Modellen binnen dezelfde familie (bijv. Anthropic's Claude Sonnet en Opus) vertonen hoge gelijkenis (RPS > 3.8, AGS > 87%), wat dient als een baseline voor distillatie.
Kimi-K2 (Thinking) als uitzondering: Onder de niet-Anthropic modellen toont Kimi-K2 (Thinking) de hoogste gelijkenis met de referentie (Claude Sonnet 4.5).
- Het bereikt een AGS van 82,7%, wat hoger is dan sommige binnen-familie paren.
- Specifiek scoort het 82,6% op $S_{node}$ (optionele tools) en 94,7% op $S_{dep}$ (afhankelijkheden), wat zelfs de scores van Anthropic's eigen Opus 4.1 overtreft.
- Dit suggereert dat Kimi-K2 gedragspatronen heeft geërfd van Claude, ondanks een andere provider.
Complementaire signalen: RPS en AGS meten verschillende dimensies (Pearson correlatie $r = 0,491$ ). Een model kan verbaal verschillend zijn maar wel dezelfde tool-gewoonten hebben, en vice versa.
Gecontroleerd Distillatie-experiment: Een student-model (Qwen2.5) dat werd gefinetuned op Claude-data, vertoonde een stijging in AGS richting de leraar (+0,13) en een daling richting een controlemodel. Bestaande metrics (zoals GED) toonden echter een stijging in beide richtingen, waardoor ze minder specifiek zijn voor distillatie.

Betekenis en Conclusie

Dit paper biedt empirisch bewijs voor het "déjà vu"-gevoel in het huidige agent-ecosysteem. Het toont aan dat veel modellen geen onafhankelijke doorbraken zijn, maar "echo's" van een paar dominante leraarsmodellen.

De belangrijkste implicaties zijn:

Transparantie: De voorgestelde metrics (RPS en AGS) kunnen dienen als diagnostische tools om te detecteren of modellen gedistilleerd zijn, zelfs zonder toegang tot de trainingsdata.
Robuustheid: Een ecosysteem van homogene modellen is kwetsbaar; als de leraar een bepaalde "slechte gewoonte" heeft (bijv. overmatig redundantie), kopiëren alle studenten dit, wat leidt tot systemische fouten.
Toekomstige Evaluatie: Het benadrukt dat toekomstige benchmarks niet alleen op taaksucces moeten focussen, maar ook op de diversiteit van gedragspatronen om een gezonde, robuuste AI-ecosysteem te waarborgen.

De code voor het project is openbaar beschikbaar gesteld om verdere diagnostisch onderzoek in het agent-ecosysteem mogelijk te maken.