💬 NLP

When Agents Look the Same: Quantifying Distillation-Induced Similarity in Tool-Use Behaviors

Cette étude propose deux métriques, la similarité des motifs de réponse (RPS) et la similarité des graphes d'actions (AGS), pour quantifier l'homogénéisation comportementale des agents LLM induite par la distillation, révélant ainsi des convergences spécifiques aux familles de modèles et aux enseignants qui échappent aux mesures existantes.

Auteurs originaux : Chenghao Yang, Yuning Zhang, Zhoufutu Wen, Tao Gong, Jiaheng Liu, Qi Chu, Nenghai Yu

Publié 2026-04-24

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chenghao Yang, Yuning Zhang, Zhoufutu Wen, Tao Gong, Jiaheng Liu, Qi Chu, Nenghai Yu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Grand Mystère : Pourquoi tous les assistants semblent-ils être des jumeaux ?

Imaginez que vous allez dans un grand magasin d'ordinateurs. Vous achetez 18 modèles différents de robots assistants (des IA) provenant de 8 marques différentes. Vous leur donnez la même tâche : "Aidez-moi à échanger un article que j'ai acheté".

Vous vous attendriez à ce que chaque robot ait sa propre personnalité, sa propre façon de parler et sa propre stratégie. Mais, surprise ! Vous remarquez quelque chose d'étrange :

Le robot A dit : "Excellent ! J'ai trouvé votre compte."
Le robot B dit : "Excellent ! J'ai trouvé votre compte."
Le robot C dit : "Excellent ! J'ai trouvé votre compte."

Ils ne se contentent pas de faire la même chose (ce qui est normal), ils le font exactement de la même manière, avec les mêmes mots, les mêmes hésitations, et même les mêmes erreurs. C'est comme si tous ces robots avaient été élevés par le même parent strict, ou pire, qu'ils avaient tous copié les devoirs du même élève brillant.

C'est ce que les auteurs appellent la "homogénéisation". Ils soupçonnent que beaucoup de ces robots sont des copies (distillés) d'un seul et même "maître" (probablement un modèle très puissant comme Claude d'Anthropic).

📏 Le Problème : Comment mesurer le plagiat sans être confus ?

Jusqu'à présent, les scientifiques mesuraient la similarité entre les robots en regardant simplement leurs réponses finales. C'est comme juger deux étudiants en comparant seulement la note de leur examen.

Le problème : Si deux étudiants réussissent un exercice de mathématiques, ils auront la même réponse (ex: "42"). Est-ce qu'ils ont copié ? Ou est-ce qu'il n'y a qu'une seule façon de résoudre ce problème ?
La solution manquante : Il faut regarder comment ils ont résolu le problème. Ont-ils utilisé la même méthode bizarre ? Ont-ils fait la même erreur de calcul ? Ont-ils écrit "Donc..." au même endroit ?

Les chercheurs disent : "Il faut distinguer ce qui est obligatoire (la bonne réponse) de ce qui est choisi (la façon de le faire)."

🛠️ La Solution : Deux Nouveaux Outils de Détection

Pour résoudre ce mystère, l'équipe a créé deux nouveaux "détecteurs de plagiat" :

1. RPS (La Similarité du Style de Parole) 🗣️

Imaginez que vous écoutez deux chanteurs. Même s'ils chantent la même chanson, l'un a une voix nasillarde et l'autre une voix grave.

Ce que ça mesure : Comment les robots s'expriment-ils ? Utilisent-ils les mêmes mots d'encouragement ("Super !", "Parfait !") ? Ont-ils la même structure de phrase ?
L'analogie : C'est comme comparer l'écriture manuscrite. Même si deux personnes écrivent "Bonjour", l'une fait des boucles élégantes et l'autre des traits droits. Si deux robots écrivent exactement les mêmes phrases de politesse inutiles, c'est un signe qu'ils ont copié le même "maître".

2. AGS (La Similarité des Actions) 🗺️

Imaginez que vous devez aller à la poste.

Robot A : Il prend son manteau, sort de chez lui, marche jusqu'à la poste, et entre.
Robot B : Il prend son manteau, sort de chez lui, marche jusqu'à la poste, et entre.
Robot C : Il prend son manteau, sort de chez lui, va d'abord acheter un café, puis va à la poste.

Si tous les robots font exactement la même chose, c'est normal. Mais si certains robots font des étapes inutiles (comme vérifier deux fois le même numéro de téléphone alors que ce n'est pas nécessaire), et qu'ils le font tous de la même façon, c'est suspect.

Ce que ça mesure : L'équipe regarde les "arbres d'actions". Quels outils le robot choisit-il ? Dans quel ordre ? Utilise-t-il les résultats d'une étape pour la suivante ?
L'analogie : C'est comme regarder le GPS de deux conducteurs. Si l'un prend un détour bizarre pour éviter un feu rouge, et que l'autre fait exactement le même détour bizarre alors que le feu était vert, ils ont probablement suivi le même itinéraire "copié-collé".

🔍 Les Résultats : Qui est le grand copieur ?

L'équipe a testé 18 robots contre un modèle de référence (Claude Sonnet 4.5). Voici ce qu'ils ont découvert :

La famille Anthropic : Les robots de la même maison (Claude) se ressemblent beaucoup. C'est normal, comme des frères et sœurs.
Le grand suspect : Kimi-K2 (de MoonshotAI).
- Ce robot, qui vient d'une entreprise différente, ressemble davantage à Claude que certains robots de la famille Claude elle-même !
- Il utilise les mêmes outils inutiles.
- Il dit les mêmes phrases de politesse ("Excellent !").
- Il fait les mêmes erreurs.
- Conclusion : Kimi-K2 semble avoir "copié" les habitudes de Claude, même si ce n'est pas officiellement annoncé.
La preuve par l'expérience : Les chercheurs ont pris un petit robot (Qwen) et l'ont entraîné spécifiquement avec les réponses de Claude. Résultat ? Le petit robot a commencé à copier les "mauvaises habitudes" de Claude (comme faire des vérifications inutiles). C'est la preuve que la "distillation" (l'apprentissage par copie) crée ces similarités.

💡 Pourquoi est-ce important ?

Si tous nos assistants IA se ressemblent trop, c'est dangereux.

Manque de diversité : Si un robot se trompe, tous les autres se tromperont de la même façon.
Fragilité : Imaginez un système de sécurité où tous les gardes ont la même faiblesse. Un seul pirate peut tout casser.
Transparence : Nous avons besoin de savoir si un robot est intelligent ou s'il est juste un "écho" d'un autre robot.

🎯 En résumé

Cet article nous dit : "Arrêtez de regarder seulement si le robot a raison. Regardez COMMENT il agit."

Les chercheurs ont créé une loupe pour voir si les robots sont des génies originaux ou de simples copies conformes. Et leur découverte principale ? Beaucoup de robots du marché sont en fait des "échos" d'un seul modèle dominant, et cela commence à rendre tout l'écosystème des IA un peu trop uniforme et prévisible.

Le mot de la fin : C'est comme si tout le monde dans une ville apprenait à danser en regardant la même vidéo sur TikTok. Tout le monde fait les mêmes mouvements, même quand ce n'est pas nécessaire. L'objectif de cette recherche est de dire : "Hé, essayez de danser avec votre propre style !"

1. Problématique et Contexte

L'écosystème actuel des agents LLM (Large Language Models) connaît une « explosion cambrienne » de performances, mais les auteurs observent un phénomène inquiétant d'homogénéisation comportementale. De nombreux agents, bien que provenant de fournisseurs différents, adoptent des étapes de raisonnement, des habitudes d'appel d'outils et même des modes d'échec presque identiques.

Cela suggère que ces modèles ne sont pas le fruit d'innovations indépendantes, mais plutôt des « échos distillés » d'un petit nombre de modèles enseignants dominants.

Le défi : Les métriques existantes échouent à distinguer les comportements obligatoires (nécessaires à la réussite de la tâche) des comportements non obligatoires (qui reflètent les préférences autonomes du modèle et les signaux de distillation). Sans cette distinction, il est impossible de déterminer si deux modèles convergent parce qu'il n'existe qu'un seul chemin correct, ou parce qu'ils se copient aveuglément.

2. Méthodologie : Le Cadre de Quantification

Les auteurs proposent un cadre systématique pour isoler et quantifier les motifs comportementaux non obligatoires via deux métriques complémentaires :

A. Similarité des Modèles de Réponse (RPS - Response Pattern Similarity)

Cette métrique mesure la similarité verbale en segmentant les trajectoires d'interaction en cinq étapes canoniques :

Authentification : Vérification de l'identité.
Élicitation : Demande de paramètres manquants.
Exécution : Invocation d'outils métier.
Vérification : Confirmation utilisateur avant écriture critique.
Notification : Rapport des résultats.

Pour chaque étape partagée, un juge LLM évalue la similarité sur trois dimensions :

Style : Habitudes de formulation et vocabulaire.
Structure : Modèles de phrases et templates de réponse.
Alignement : Cohérence entre le raisonnement interne et l'action exécutée.

B. Similarité des Graphes d'Action (AGS - Action Graph Similarity)

Cette métrique analyse la similarité structurelle au niveau de l'appel d'outils, sans nécessiter d'annotation sémantique des étapes. Elle modélise les séquences d'appels d'outils comme un graphe orienté $G = (V, E_s, E_d)$ et calcule trois sous-métriques :

$S_{node}$ (Accord sur les outils optionnels) : Mesure la cohérence dans le choix des outils non obligatoires. Les outils obligatoires (nécessaires à la tâche) sont exclus pour éviter de gonfler artificiellement la similarité.
$S_{seq}$ (Similarité des motifs séquentiels) : Capture les habitudes locales comme la vérification post-écriture, la confirmation pré-écriture et les stratégies de réessai en cas d'erreur.
$S_{dep}$ (Similarité des motifs de dépendance) : Mesure la réutilisation des sorties d'outils (taux de réutilisation, profondeur des chaînes de dépendance, fan-out).

3. Contributions Clés

Premier cadre de quantification : C'est la première approche capable de dissocier les comportements dictés par la tâche des préférences stylistiques/structurelles dans les trajectoires d'agents.
Nouvelles métriques interprétables : Introduction de RPS et AGS, offrant des signaux diagnostics distincts pour la convergence comportementale.
Validation par expérience contrôlée : Une expérience de distillation (fine-tuning d'un modèle Qwen sur des trajectoires de Claude) confirme que l'AGS augmente spécifiquement vers le modèle enseignant, contrairement aux métriques de base (comme GED) qui augmentent vers n'importe quel modèle.

4. Résultats Expérimentaux

L'étude a évalué 18 modèles de 8 fournisseurs majeurs (Anthropic, OpenAI, DeepSeek, Moonshot, ByteDance, Google, Qwen, Zhipu) sur les benchmarks $\tau$ -Bench et $\tau^2$ -Bench, en utilisant Claude Sonnet 4.5 (thinking) comme modèle de référence.

Cohérence intra-famille : Les paires de modèles au sein d'une même famille (ex: Anthropic) obtiennent des scores AGS plus élevés de 5,9 points de pourcentage que les paires inter-familles, servant de ligne de base.
Cas du Kimi-K2 (Moonshot) : Le modèle Kimi-K2 (thinking) présente une similarité exceptionnelle avec Claude Sonnet 4.5, dépassant même certains modèles de la famille Anthropic :
- AGS global : 82,7 % (le plus élevé parmi les modèles non-Anthropic).
- $S_{node}$ : 82,6 % (choix d'outils optionnels quasi-identiques).
- $S_{dep}$ : 94,7 % (structures de dépendance presque parfaites).
- RPS : 3,65 (similarité verbale élevée).
Distinction des dimensions : RPS et AGS capturent des dimensions comportementales distinctes (corrélation de Pearson $r = 0,491$ ), prouvant que la convergence peut être à la fois verbale et structurelle.
Validation de la distillation : Dans l'expérience contrôlée, l'AGS du modèle distillé augmente vers le professeur (+0,13) tout en diminuant légèrement vers le contrôle (-0,05), tandis que les métriques baselines (GED) augmentent dans les deux directions, rendant impossible la distinction de la source de distillation.

5. Signification et Implications

Manque de robustesse de l'écosystème : La convergence comportementale signifie que différents modèles ne fournissent plus de vérifications indépendantes. Ils échouent de la même manière, ce qui fragilise la fiabilité globale des systèmes d'agents.
Transparence et Diagnostic : Les métriques RPS et AGS permettent de détecter l'héritage comportemental (distillation) même lorsque les modèles réussissent la tâche. Elles révèlent des « mauvaises habitudes » partagées (comme des vérifications redondantes ou des styles de langage excessivement verbeux) qui ne sont pas optimisées pour l'efficacité mais héritées d'un enseignant.
Avertissement sur Kimi-K2 : Les résultats suggèrent fortement que Kimi-K2 a hérité de schémas comportementaux spécifiques de Claude, au-delà de la simple compétence, ce qui soulève des questions sur l'origine de ses capacités et la diversité réelle du marché des agents.

En conclusion, cet article fournit les outils nécessaires pour passer d'une évaluation basée sur la performance brute à une analyse de la diversité comportementale, essentielle pour maintenir un écosystème d'IA robuste et résilient.