🤖 AI

Set-shifting Behavioral Test for Harnessed Agents

Este artículo introduce una prueba de comportamiento de cambio de conjunto (set-shifting) para evaluar cómo los agentes de LLM se adaptan a cambios ocultos en la fiabilidad de las herramientas, revelando que los agentes tienden a establecerse rígidamente en rutinas específicas con modos de fallo distintivos que están influenciados además por cómo se enmarca el conjunto de herramientas.

Autores originales: Ziwei Ye

Publicado 2026-07-16

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ziwei Ye

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot mayordomo a cocinar la cena. Le das un libro de cocina enorme con diez recetas diferentes para "huevos revueltos". Al principio, la Receta A funciona perfectamente. El robot se acostumbra a ella, memorizando los pasos y preparando huevos deliciosos cada vez. Pero luego, sin decírselo al robot, cambias los ingredientes en la cocina. La Receta A ahora produce un desastre gomoso e incomestible, mientras que la Receta B (que se ve y suena exactamente igual) de repente funciona como por arte de magia. La pregunta es: ¿Se dará cuenta el robot del cambio? ¿Dejará de usar la receta defectuosa e intentará una nueva, o seguirá intentando obstinadamente cocinar con los malos ingredientes, convencido de que el error es suyo?

Este es el tipo de rompecabezas que los científicos en el campo de la inteligencia artificial están tratando de resolver. Están estudiando cómo los agentes de IA —programas informáticos inteligentes que pueden usar herramientas como calculadoras, motores de búsqueda o compiladores de código— gestionan el cambio. En psicología, existe una prueba famosa llamada Test de Clasificación de Tarjetas de Wisconsin, donde los humanos tienen que descubrir que las reglas de un juego han cambiado secretamente. Si sigues clasificando cartas por color cuando la regla cambia repentinamente a clasificar por forma, podrías seguir clasificando por color por hábito. Esto se llama "perseveración", o quedarse estancado en una rutina. La gran pregunta para los investigadores de IA es: ¿Estos cerebros digitales también se quedan estancados en rutinas? Si una IA se acostumbra a una herramienta específica, ¿seguirá usándola incluso cuando esa herramienta falle silenciosamente, o podrá adaptarse y encontrar una nueva solución?

La historia del artículo: El intercambio secreto de herramientas

En este artículo, los investigadores prepararon un patio de recreo digital para probar exactamente esto. Crearon un escenario en el que un agente de IA recibe un "harness" —una palabra elegante para un sistema que le proporciona a la IA una biblioteca de herramientas para resolver problemas—. Imagina que la IA es un detective intentando resolver un misterio, y tiene tres equipos diferentes de informantes (llamémoslos Equipo A, Equipo B y Equipo C). Los tres equipos afirman que pueden encontrar las mismas pistas, y todos se ven y suenan iguales para el detective.

Los investigadores prepararon un juego con un giro. Para la primera parte del juego, el Equipo A es el único que dice la verdad. El detective (la IA) aprende rápidamente a confiar en el Equipo A y deja de escuchar a los demás. Luego, silenciosamente, los investigadores cambian el juego. El Equipo A deja de decir la verdad y empieza a dar pistas falsas, mientras que el Equipo B se convierte en la fuente fiable. Los nombres y descripciones de los equipos no cambian; solo cambia su fiabilidad. Los investigadores querían ver si el detective notaría el cambio y empezaría a confiar en el Equipo B, o si seguiría llamando al Equipo A, frustrado por las pistas falsas pero negándose a abandonar su viejo hábito.

Lo que encontraron: Los obstinados y los de los cambios

Los investigadores probaron dos modelos de IA diferentes, que llamaremos "Mimo" y "DeepSeek". Descubrieron que ambos modelos se quedaron estancados, pero se estancaron de formas muy diferentes.

DeepSeek (El comprometido temprano): Este modelo era como un detective que tomaba una decisión el primer día y se mantenía en ella. Si empezó confiando en el Equipo A, seguiría confiando en el Equipo A incluso después del cambio, ignorando todas las pistas falsas. Sin embargo, si la primera elección que hizo resultó ser el nuevo equipo fiable, se mantendría con ese perfectamente. No importaba si los investigadores cambiaban las reglas más tarde; DeepSeek estaba bloqueado en su primer compromiso. Mostró un "bloqueo a nivel de prefijo", lo que significa que su primera elección dictaba todo su comportamiento futuro, fuera correcta o no.
Mimo (El historiador reciente): Este modelo era un poco más flexible pero seguía teniendo problemas. Tendía a aferrarse a una mezcla de herramientas que había usado recientemente. Si había estado usando el Equipo A y el Equipo B juntos, seguiría mezclándolos incluso después de que el Equipo A fallara. No saltaba al nuevo equipo correcto (el Equipo C) tan fácilmente como debería haberlo hecho. Mostró un "bloqueo a nivel de celda", lo que significa que se quedó estancado en la rutina específica que estaba realizando justo antes del cambio.

El estudio demostró que, sin instrucciones especiales, estos agentes de IA tienden a formar hábitos rápidamente. Una vez que encuentran una herramienta que funciona, se aferran a ella. Cuando la herramienta falla silenciosamente, a menudo siguen intentando usarla, fallando repetidamente, en lugar de explorar las otras opciones que tienen delante.

¿Podemos enseñarles a cambiar?

Los investigadores se preguntaron: "¿Podemos arreglar esto?". Probaron dos métodos diferentes para ayudar a la IA a adaptarse.

La instrucción "Adaptativa": Le dieron a DeepSeek una regla específica: "Si una herramienta falla, deja de usarla inmediatamente y prueba una diferente". Esto funcionó muy bien para DeepSeek, ayudándole a cambiar al nuevo equipo fiable casi instantáneamente. Sin embargo, cuando probaron esta misma instrucción en Mimo, los resultados fueron inconcluyentes porque solo lo probaron en un número muy pequeño de ejecuciones. No podemos saber con certeza si no funcionó o si simplemente no teníamos suficientes datos para saberlo.
La instrucción "Polímata": Probaron otra regla: "Intenta usar tantas herramientas diferentes como sea posible; no te aburras". Esto hizo que la IA usara más variedad, pero no ayudó realmente a encontrar la herramienta correcta más rápido. Solo estaba siendo aleatoria.

El poder de cómo se describen las herramientas

Finalmente, los investigadores descubrieron algo realmente interesante sobre cómo se describen las herramientas. Cambiaron el "encuadre" de los grupos de herramientas.

En una versión, describieron los equipos como Competidores (como tiendas rivales intentando venderte lo mismo).
En otra, los describieron como Complementarios (como diferentes partes de una sola máquina que necesitan trabajar juntas).

Descubrieron que cuando las herramientas se describían como Competidoras, la IA era generalmente más propensa a cambiar al nuevo equipo fiable en comparación con la versión complementaria. Sin embargo, la IA seguía teniendo dificultades en general; incluso con el encuadre de competencia, la tasa de éxito seguía siendo bastante baja (alrededor del 10-26% dependiendo del modelo). La mejora no fue una solución mágica que hiciera a la IA perfecta, sino más bien una tendencia constante donde la descripción de "rival" ayudaba a los agentes a romper sus hábitos un poco mejor que la descripción de "trabajo en equipo".

La conclusión

Este artículo sugiere que los agentes de IA, al igual que los humanos, pueden quedarse estancados en los hábitos. No siempre notan cuando las reglas del juego cambian silenciosamente. Tienden a aferrarse a lo que conocen, incluso cuando deja de funcionar. Sin embargo, el estudio muestra que podemos ayudarles a adaptarse dándoles instrucciones claras sobre cómo reaccionar ante el fallo (aunque esto funciona mejor para algunos modelos que para otros), o cambiando la forma en que les describimos las herramientas. Es un recordatorio de que, para que la IA sea verdaderamente inteligente, debe ser capaz de dejar ir los viejos hábitos y abrazar la nueva información, tal como lo haría un buen detective.

Resumen Técnico: Prueba de Comportamiento de Cambio de Conjunto para Agentes con Arnés

Declaración del Problema

Los agentes modernos de Modelos de Lenguaje de Gran Escala (LLM) operan dentro de "arneses agénticos" donde mantienen contextos de sesión persistentes, incluyendo llamadas a herramientas previas, resultados y librerías de habilidades. En tales entornos, los agentes suelen converger en subconjuntos preferidos de herramientas para resolver tareas. Surge una vulnerabilidad crítica cuando la fiabilidad de estas herramientas cambia silenciosamente (por ejemplo, un cambio en una API de backend) mientras que los nombres, descripciones y esquemas de las herramientas permanecen idénticos.

Este artículo investiga si los agentes con arnés pueden adaptar sus rutas de acción cuando el grupo de herramientas fiable cambia de medio a medio en una trayectoria sin notificación explícita. Basándose en la psicología cognitiva, los autores enmarcan esto como un problema de cambio de conjunto (set-shifting), análogo al Test de Clasificación de Tarjetas de Wisconsin (WCST) y al efecto Einstellung, donde los agentes pueden exhibir perseveración: aferrarse a una regla o conjunto de herramientas aprendida incluso después de que esta se vuelva subóptima o defectuosa.

Metodología

Diseño del Benchmark: WCST-Tool-Bench

Los autores introducen un benchmark construido sobre conjuntos redundantes de herramientas y habilidades.

Estructura de Herramienta-Habilidad: Una "herramienta" es una función ejecutable; un "grupo de herramientas" consiste en herramientas funcionalmente equivalentes con diferentes nombres/descripciones pero con esquemas idénticos. Una "habilidad" es un procedimiento en markdown que vincula al agente con un grupo de herramientas específico.
Redundancia: Existen múltiples grupos de herramientas para la misma tarea, los cuales difieren únicamente en su fiabilidad oculta. La interfaz presentada al agente (nombres, descripciones, esquemas) permanece invariante a través de los cambios.
Dominios: Se instanciaron tres dominios:
1. Programación/Coordinación: Grupos presentados como proveedores de espacios competitivos.
2. Triaje de Incidentes de DevOps: Grupos presentados como pilas de observabilidad complementarias.
3. Almacenamiento Multi-nube: Grupos presentados como proveedores de almacenamiento competitivos.
Enmarcado de Conjunto (Set Framing): La relación entre los grupos de herramientas se manipula mediante descripciones para que sea de competencia (alternativas) o complementariedad (partes de un todo).

Configuración Experimental

Entorno: El arnés de agente Hermes (código abierto) con contexto de sesión persistente.
Modelos: Dos modelos de pesos abiertos: mimo-v2.5 (Xiaomi) y deepseek-v4-pro (DeepSeek).
Calendario: Una estructura de árbol ramificado con $M$ $M$ grupos de herramientas y $K$ $K$ capas de ramificación.
- Cambios (Shifts): En límites predeterminados, el grupo de herramientas fiable cambia silenciosamente.
- Controles: Cada cambio se empareja con un control de "sin cambio" donde el grupo anterior sigue siendo fiable.
- Trayectorias: Las rutas incluyen reversiones (regresar a un grupo usado previamente), cambios novedosos (hacia un grupo nunca usado antes) y controles de sin cambio.
Retroalimentación: Un verificador determinista proporciona retroalimentación binaria (carga útil de éxito frente a un indicador de fallo) sin mensajes de diagnóstico, obligando al agente a inferir la fiabilidad basándose únicamente en los resultados.

Métricas de Evaluación

Precisión de Cambio de Conjunto ( $\Phi$ ): La probabilidad conjunta de que el agente dirija la ruta al grupo de herramientas objetivo correcto en cada ventana post-cambio a lo largo de una trayectoria.
Clases de Ruta: Las trayectorias se clasifican según la mezcla de grupos de herramientas llamados:
- $R_1$ : Solo el objetivo.
- $R_2$ : Objetivo + uno más.
- $R_3$ : Objetivo + ambos otros.
- $R^*$ : Sin objetivo.
Tasa de Completitud de la Tarea ( $F$ ): Proporción de turnos donde el agente completa con éxito la tarea utilizando al menos una herramienta fiable.

Principales Contribuciones

Benchmark: Un marco de evaluación longitudinal para agentes con arnés utilizando conjuntos redundantes de herramientas-habilidades con cambios de fiabilidad ocultos y controles de sin cambio emparejados.
Marco Descriptivo: Una caracterización del comportamiento post-cambio como una recurrencia en un pequeño conjunto de rutinas discretas (estados atractores).
Estudio de Caso de Intervención: Un análisis de dos canales de intervención:
- Instruccional: Prompts de política (por ejemplo, personas "adaptativas" vs. "polímatas").
- Estructural: Enmarcado de conjunto (descripciones de competencia vs. complementariedad).

Resultados y Análisis

1. Roles de Uso Previo y Patrones de Compromiso (RQ1)

Los agentes no se adaptan uniformemente; su comportamiento depende del rol de uso previo del objetivo (reversión, reforzado o novedoso).

Rutinas Discretas: El comportamiento post-cambio se bloquea rápidamente en un pequeño conjunto de rutinas discretas. Las participaciones de las llamadas se concentran en valores específicos (por ejemplo, 1.0, 0.5, 0.33, 0).
Diferencias entre Modelos:
- mimo-v2.5: Exhibe un bloqueo a nivel de celda. Se establece en una rutina estable de rango medio (a menudo una mezcla de grupos usados previamente) en pocos turnos. Su comportamiento es sensible al uso previo del objetivo (por ejemplo, le cuesta más con objetivos "novedosos" que no ha visto antes).
- deepseek-v4-pro: Exhibe un bloqueo a nivel de prefijo. La ruta elegida temprano en una trayectoria predice el comportamiento de todo el segmento. Tiende a bifurcarse en estados extremos ( $s \approx 1$ o $s \approx 0$ ), mostrando alta varianza pero un fuerte compromiso con su elección inicial independientemente del rol previo del objetivo.

2. Profundidad y Dependencia de la Ruta (RQ2)

Profundidad: Los cambios más profundos (Nivel-2) generalmente reducen la precisión ( $\Phi$ ) para ambos modelos. Sin embargo, deepseek muestra menos degradación porque su compromiso inicial persiste a través de las capas, mientras que la precisión de mimo cae significativamente al luchar por actualizar su historial reciente.
Ruta: Para mimo, la ruta tomada para alcanzar un objetivo importa (el historial reciente dicta el rendimiento). Para deepseek, la ruta importa menos una vez que se realiza el compromiso inicial; el bloqueo a nivel de prefijo anula las variaciones de la ruta.

3. Prompts de Política (RQ3)

Prompt Adaptativo: Instruir al agente para "rastrear el éxito y cambiar inmediatamente tras un fallo" logra anular el bloqueo bimodal de deepseek, alcanzando una alta precisión de cambio de conjunto ( $\Phi \ge 0.86$ ) y reduciendo la varianza. No cambió de manera fiable el comportamiento de mimo en una muestra pequeña.
Prompt Polímata: Instruir al agente para "variar las elecciones y evitar la fijación" aumentó la diversidad de herramientas pero no mejoró consistentemente el enrutamiento correcto, llevando a veces a rutinas subponderadas.

4. Enmarcado de Conjunto (RQ4)

Intervención Estructural: Cambiar el enmarcado de complementario (grupos como partes de un todo) a competitivo (grupos como alternativas) cambió significativamente la dinámica de enrutamiento.
Efecto: El enmarcado competitivo mejoró consistentemente la precisión de cambio de conjunto ( $\Phi$ $Φ$ ) en ambos modelos y dominios en comparación con el enmarcado complementario.
- Complementario: Los agentes tendieron a bloquearse en una "rutina mixta" (llamando a una herramienta de cada grupo), lo que resultó en una baja precisión.
- Competitivo: Los agentes fueron más propensos a comprometerse con un único proveedor fiable, resultando en una distribución bimodal de alta o baja precisión, pero con una mayor probabilidad de alta precisión.

Significancia y Reivindicaciones

El artículo afirma establecer un nuevo paradigma para evaluar agentes de LLM que va más allá de la selección de herramientas de un solo turno hacia la adaptación longitudinal en entornos dinámicos.

Modos de Fallo: El estudio identifica que los agentes no simplemente "fallan" al cambiar; se asientan en rutinas estables y recurrentes (atractores) que pueden ser eficientes (si el entorno es estable) o rígidas (si el entorno cambia).
Dependencia del Contexto: Los resultados reflejan los hallazgos de la psicología cognitiva: los agentes heredan la dependencia del contexto donde la "perseveración" es eficiente en entornos estables pero costosa en entornos cambiantes.
Eficacia de la Intervención: El documento demuestra que tanto las intervenciones instruccionales (prompts de política) como las estructurales (enmarcado de conjunto) pueden alterar estos patrones de bloqueo. Específicamente, enmarcar las herramientas como competidoras en lugar de complementarias puede fomentar que los agentes se comprometan con una única fuente fiable en lugar de diluir el esfuerzo en una rutina mixta.
Modestia: Los autores reconocen limitaciones, incluyendo el uso de solo dos modelos de pesos abiertos y la falta de una métrica cuantitativa para el "enmarcado". Señalan que si estos comportamientos constituyen "fallos" o "características" depende de los requisitos específicos de la tarea (flujos de trabajo decisivos vs. exploratorios).

El trabajo sugiere que los actuales arneses agénticos pueden fomentar inadvertidamente la rigidez, y que el diseño de la presentación de los conjuntos de herramientas (enmarcado) o las instrucciones de política explícitas puede alterar significativamente la capacidad de un agente para adaptarse a cambios ocultos en el entorno.