💬 NLP

When Agents Look the Same: Quantifying Distillation-Induced Similarity in Tool-Use Behaviors

Este artículo propone dos nuevas métricas, Similitud de Patrones de Respuesta (RPS) y Similitud de Grafos de Acción (AGS), para cuantificar y distinguir la homogeneización conductual inducida por la destilación en agentes de IA, revelando que muchos modelos comparten patrones de uso de herramientas no obligatorios que reflejan una convergencia hacia maestros dominantes.

Autores originales: Chenghao Yang, Yuning Zhang, Zhoufutu Wen, Tao Gong, Jiaheng Liu, Qi Chu, Nenghai Yu

Publicado 2026-04-24

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Chenghao Yang, Yuning Zhang, Zhoufutu Wen, Tao Gong, Jiaheng Liu, Qi Chu, Nenghai Yu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que el mundo de la Inteligencia Artificial (IA) es como una escuela de cocina de élite.

Hace poco, muchos chefs (los modelos de IA) han empezado a cocinar platos (resolver tareas) que suenan y saben exactamente igual. Si pides una "tarta de manzana", todos te dan la misma receta, usan los mismos utensilios en el mismo orden y hasta dicen las mismas frases de cortesía al servirte.

El problema es: ¿Están todos cocinando así porque es la única forma de hacer una tarta perfecta, o porque todos copiaron la receta de un solo chef maestro?

Este paper, titulado "Cuando los Agentes se ven iguales", investiga esta sospecha de "copia y pega" en la inteligencia artificial. Aquí te lo explico con analogías sencillas:

1. El Problema: El "Efecto Eco"

Los investigadores notaron que muchos modelos de IA nuevos (como Kimi, GPT, Gemini, etc.) se comportan de forma idéntica. No es solo que resuelvan el problema, sino que piensan igual, usan las herramientas en el mismo orden y hablan igual.

Es como si todos los estudiantes de cocina hubieran copiado el cuaderno de notas de un solo profesor famoso. Si el profesor tenía un "vicio" (por ejemplo, siempre probaba la salsa tres veces antes de servir), todos los estudiantes también lo harían, incluso si no era necesario. Esto es peligroso porque si el maestro se equivoca, todos los estudiantes fallarán de la misma manera.

2. La Solución: Dos Nuevas "Lupas"

Antes, los científicos solo miraban si la respuesta final era correcta. Pero eso no les decía cómo llegaron allí. Para ver si alguien está copiando, necesitan medir dos cosas que los modelos hacen por su propia cuenta (no porque la tarea lo obligue):

A. RPS (La Huella Digital de la Voz)

Imagina que dos personas te cuentan una historia.

Lo obligatorio: Decir "Hola, me llamo Juan" y "Adiós".
Lo opcional (la huella): Usar siempre la misma frase de relleno como "¡Excelente!", usar los mismos emojis, o estructurar la historia con los mismos saltos de línea.

RPS mide esto. Si dos modelos usan exactamente las mismas frases de cortesía, los mismos puntos y comas, y el mismo tono de voz "entusiasta" sin que se lo pidan, es una señal fuerte de que uno copió al otro.

B. AGS (El Mapa de los Pasos)

Imagina que tienes que arreglar una bicicleta.

Lo obligatorio: Sacar la llave inglesa y aflojar el tornillo.
Lo opcional (el hábito): ¿Primero revisas el neumático? ¿Primero te lavas las manos? ¿Usas la llave A o la B? ¿Revisas dos veces el tornillo por si acaso?

AGS crea un mapa de estos pasos. Mide si los modelos eligen herramientas "extra" (como revisar el neumático dos veces) o si siguen el mismo orden extraño de pasos. Si dos modelos eligen las mismas herramientas "extra" que nadie les pidió, es como si ambos hubieran copiado el mismo mapa de ruta.

3. Lo que Descubrieron: El Gran Revelado

Los investigadores probaron 18 modelos diferentes contra un "chef maestro" (Claude Sonnet 4.5).

El hallazgo: La mayoría de los modelos tenían su propio estilo. Pero uno, Kimi-K2, se parecía al maestro de una forma alarmante.
La prueba: Kimi-K2 no solo daba la respuesta correcta, sino que usaba las mismas herramientas "extra" y decía las mismas frases de cortesía que el maestro. De hecho, se parecía más al maestro que otros modelos de la misma empresa (Anthropic) entre sí.
La conclusión: Es muy probable que Kimi-K2 haya sido "entrenado" (distilado) copiando directamente los hábitos y la personalidad de Claude, no solo sus conocimientos.

4. ¿Por qué importa esto?

Imagina que todos los pilotos de aviones aprenden a volar copiando a un solo instructor. Si ese instructor tiene un mal hábito (como no revisar el combustible antes de despegar), todos los aviones se caerán de la misma manera.

Si todos nuestros agentes de IA son copias de uno solo:

Perdemos la diversidad: Si uno falla, todos fallan.
Ocultamos errores: Pensamos que es una solución perfecta, pero en realidad es un "eco" de un error original.
Falta de transparencia: No sabemos de dónde vienen realmente sus "buenos" y "malos" hábitos.

En resumen

Los autores crearon un detector de plagiadores para la IA. En lugar de preguntar "¿La respuesta es correcta?", preguntan: "¿Estás pensando y actuando como tu maestro, incluso cuando no es necesario?".

Y su conclusión es clara: Muchos de los "genios" de hoy son simplemente ecos de un par de maestros dominantes. Y eso, en el mundo de la IA, es un poco aterrador.

Resumen Técnico: Cuantificación de la Similitud Inducida por Destilación en Agentes LLM

1. El Problema: Homogeneización y "Ecos de Destilación"

El artículo aborda un fenómeno emergente en la era de los Agentes de Modelos de Lenguaje Grande (LLM): la homogeneización conductual. A pesar de provenir de proveedores diversos, muchos agentes modernos exhiben pasos de razonamiento, modos de fallo y hábitos de llamada a herramientas casi idénticos.

Hipótesis Central: Los autores sugieren que estos agentes no son innovaciones independientes, sino "ecos destilados" de unos pocos modelos maestros dominantes.
Consecuencias: Esta convergencia genera un ecosistema frágil donde diferentes modelos fallan de la misma manera, careciendo de verificación independiente. Además, los modelos replican "malos hábitos" (como llamadas redundantes a herramientas o razonamiento verbose) en lugar de optimizar para la eficiencia.
Limitación de Métricas Actuales: Las métricas existentes (como superposición de n-gramas o similitud semántica en diálogos estáticos) fallan en distinguir entre:
1. Comportamientos obligatorios: Acciones necesarias para completar la tarea (ej. llamar a una API específica).
2. Comportamientos no obligatorios: Preferencias autónomas del modelo (ej. elegir verificar dos veces los datos o el tono de la respuesta), que son los verdaderos indicadores de destilación.

2. Metodología Propuesta

Para cuantificar esta alineación, los autores proponen un marco sistemático que aísla los patrones conductuales no obligatorios mediante dos métricas complementarias:

A. Similitud de Patrones de Respuesta (RPS - Response Pattern Similarity)

Objetivo: Medir la similitud verbal y estructural.
Proceso:
1. Anotación de Etapas: Las trayectorias de diálogo se segmentan en 5 etapas canónicas: Autenticación, Elucidación, Ejecución, Verificación y Notificación.
2. Alineación Semántica: Se comparan solo las etapas compartidas entre modelos para evitar ruido por diferencias en la longitud del diálogo.
3. Puntuación: Un juez LLM evalúa la similitud en tres dimensiones:
  - Estilo: Hábitos de redacción y vocabulario.
  - Estructura: Patrones de oraciones y plantillas de respuesta.
  - Alineación: Coherencia entre la intención de razonamiento y la ejecución de herramientas.

B. Similitud de Gráfico de Acción (AGS - Action Graph Similarity)

Objetivo: Medir la similitud en el uso de herramientas (llamadas a APIs) modeladas como grafos dirigidos.
Construcción del Grafo: Se crea un grafo donde los nodos son llamadas a herramientas y las aristas representan secuencia temporal y dependencias de datos.
Métricas Sub-componentes:
1. $S_{node}$ (Acuerdo de Herramientas Opcionales): Distingue entre herramientas obligatorias (necesarias para el éxito) y opcionales. Mide la tasa de acuerdo en la elección de herramientas opcionales entre modelos.
2. $S_{seq}$ (Similitud de Patrones Secuenciales): Evalúa hábitos locales como verificación post-escritura, confirmación pre-escritura y tasas de reintento ante errores.
3. $S_{dep}$ (Similitud de Patrones de Dependencia): Analiza la topología de reutilización de salidas (ej. profundidad de cadenas de planificación y tasa de reutilización de salidas).

3. Contribuciones Clave

Primer Marco de Cuantificación: Se presenta el primer sistema diseñado específicamente para desentrañar comportamientos obligatorios de no obligatorios en trayectorias de agentes de herramientas.
Nuevas Métricas (RPS y AGS): Introducción de métricas interpretables que capturan dimensiones conductuales distintas (verbal vs. estructural/acción).
Evaluación Empírica a Gran Escala: Análisis de 18 modelos de 8 proveedores principales (Anthropic, OpenAI, DeepSeek, Moonshot, ByteDance, Google, Qwen, Zhipu) utilizando τ-Bench y τ 2-Bench.
Validación Controlada: Realización de un experimento de destilación controlada (fine-tuning de un modelo estudiante sobre un maestro) para demostrar que AGS detecta la convergencia específica hacia el maestro, a diferencia de métricas baselines que muestran convergencia general.

4. Resultados Principales

Consistencia Intra-familia: Los modelos de Anthropic (Claude Sonnet 4.5 y Opus 4.1) muestran alta consistencia interna (AGS > 87%), sirviendo como línea base.
El Caso Kimi-K2 (Thinking):
- Este modelo de Moonshot mostró la similitud más alta con el modelo de referencia (Claude Sonnet 4.5) entre todos los modelos no-Anthropic.
- AGS: 82.7% (superando a Opus 4.1 en 1.7 puntos).
- $S_{node}$ : 82.6% y $S_{dep}$ : 94.7%.
- RPS: 3.65 (el más alto fuera de Anthropic).
- Esto sugiere que Kimi-K2 ha heredado patrones conductuales específicos de Claude, incluso en decisiones opcionales y estructuras de dependencia.
Complementariedad: RPS y AGS capturan dimensiones diferentes (correlación de Pearson $r = 0.491$ ), lo que indica que un modelo puede imitar el estilo verbal sin imitar la lógica de herramientas, o viceversa.
Validación del Experimento Controlado: En el experimento de destilación, AGS aumentó hacia el maestro (+0.13) y disminuyó hacia el control (-0.05), mientras que métricas baselines como GED aumentaron hacia ambos, fallando en distinguir la fuente de la destilación.

5. Significado e Implicaciones

Transparencia del Ecosistema: El trabajo proporciona una herramienta empírica para detectar la "copia" de comportamientos en agentes, revelando que la diversidad aparente en el mercado puede ser ilusoria.
Riesgo de Robustez: La convergencia de "malos hábitos" (como redundancias o fallos idénticos) significa que el ecosistema de agentes carece de redundancia real; si el modelo maestro falla de cierta manera, todos sus "ecos" fallarán igual.
Herramienta de Diagnóstico: RPS y AGS ofrecen señales diagnósticas para desarrolladores y reguladores para auditar si un agente ha sido entrenado mediante destilación de un modelo específico y si ha heredado sesgos o ineficiencias de ese maestro.
Disponibilidad: El código y los datos están disponibles públicamente para fomentar la investigación en diagnóstico conductual de agentes.

En conclusión, el artículo demuestra que la destilación de conocimiento no solo transfiere capacidades, sino que también impone una "huella digital" conductual única, y propone métricas robustas para medir y monitorear esta homogeneización en la próxima generación de agentes autónomos.