💻 computer science

Fantastic Adaptive Taxonomies and How to Use Them

El artículo presenta AdaMAST, un sistema que induce automáticamente taxonomías de fallos compactas y fundamentadas en evidencia a partir de trazas de ejecución de agentes para servir como una interfaz de retroalimentación reutilizable, mejorando significamente el rendimiento de los agentes en tareas de búsqueda, tiempo de ejecución y selección de trayectoria en comparación con los métodos tradicionales de reflexión de forma libre.

Autores originales: Mert Cemri, Andrei Cojocaru, Melissa Pan, Shu Liu, Shubham Agarwal, Alexander Krentsel, Jay Tang, Kannan Ramchandran, Joseph E. Gonzalez, Matei Zaharia, Alex Dimakis, Ion Stoica

Publicado 2026-07-21

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mert Cemri, Andrei Cojocaru, Melissa Pan, Shu Liu, Shubham Agarwal, Alexander Krentsel, Jay Tang, Kannan Ramchandran, Joseph E. Gonzalez, Matei Zaharia, Alex Dimakis, Ion Stoica

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un robot muy inteligente, pero un poco torpe, a resolver acertijos. Cada vez que el robot intenta resolver un acertijo, deja tras de sí un rastro largo y desordenado de pensamientos, acciones y errores. Este rastro se llama "traza de ejecución". Durante mucho tiempo, los científicos que intentaban arreglar estos robots tenían dos formas principales de mirar el desastre. La primera forma era simplemente decir: "Fallaste", y seguir adelante. Esto es como un profesor que pone una "F" roja en un examen sin decirle por qué te equivocaste. La segunda forma era pedirle al robot que escribiera un ensayo largo y divagante sobre qué salió mal. Esto es mejor, pero es como pedirle a un estudiante que escriba un nuevo ensayo sobre cada problema matemático que hace mal, una y otra vez, usando palabras diferentes cada vez. El robot nunca aprende un vocabulario consistente para sus errores, y el profesor (o el programa de computadora que intenta arreglar al robot) se siente abrumado por todas las distintas formas en que se describe el mismo error.

La gran pregunta en este rincón de la informática es: ¿Cómo ayudamos a estos agentes de IA a aprender de sus fallos sin empantanarse en textos interminables y repetitivos? El objetivo es convertir esos rastros desordenados y largos de errores en una lista limpia y organizada de "códigos de error": como un diccionario estandarizado de equivocaciones. Si el robot sigue olvidando revisar su trabajo, en lugar de escribir un párrafo sobre ello cada vez, debería recibir simplemente una etiqueta que diga "Olvidó Revisar". Esto permite al sistema detectar patrones, corregir la causa raíz y dejar de cometer el mismo error dos veces. Esta es la base del nuevo método llamado AdaMAST.

La Gran Idea del Artículo: El "Diccionario de Errores" Personal del Robot

Este artículo presenta un sistema ingenioso llamado AdaMAST (Taxonomías de Fallos de Sistemas Multi-Agente Adaptativos). Piensa en AdaMAST como un bibliotecario superinteligente que observa a un agente robot intentar resolver problemas y, en lugar de limitarse a leer el desordenado diario del robot, crea un diccionario de errores personalizado y vivo.

Así es como funciona en la vida real:

La Observación: El robot intenta resolver una serie de tareas (como escribir código o resolver problemas matemáticos) y falla. Deja tras de sí un rastro largo y desordenado de texto.
La Traducción Mágica: En lugar de que los humanos lean cada palabra, AdaMAST lee la traza y dice: "¡Ah, ya veo este patrón! El robot intentó usar una herramienta que no existe", o "El robot dejó de pensar demasiado pronto". Convierte estas observaciones desordenadas en nombres cortos y pegadizos como "Premature_Reasoning_Truncation" (Truncamiento de Razonamiento Prematuro) o "Tool_Mismatch" (Desajuste de Herramienta).
El Diccionario Vivo: El sistema construye una "taxonomía", que es solo una palabra elegante para una lista categorizada. Esta lista tiene tres estantes:
- A nivel de sistema: Errores con toda la configuración (como que el robot se quede atrapado en un bucle).
- Específicos del rol: Errores cometidos por partes específicas del equipo del robot (como que la parte del "verificador" sea perezosa).
- Específicos del dominio: Errores sobre el tema real (como que se equivoque en las matemáticas).
La Mejor Parte: El robot nunca tiene que aprender este diccionario de un humano. El diccionario se construye enteramente a partir de los propios fallos del robot. Es como si un estudiante escribiera su propia guía de estudio basada en sus propias respuestas incorrectas de un examen, y luego usara esa guía para estudiar para el siguiente examen.

Lo que el Artículo Descubrió: El Diccionario Funciona

Los autores probaron esta idea de tres maneras diferentes, y los resultados sugieren que tener este "Diccionario de Errores" hace que los robots sean significativamente más inteligentes y fiables.

1. Encontrar Mejores Diseños de Robots (La Búsqueda)
Imagina que estás intentando inventar un mejor robot mezclando y combinando diferentes piezas. Normalmente, solo miras la puntuación: "Este robot obtuvo un 80%, ese otro un 85%". Pero con AdaMAST, el sistema mira los códigos del diccionario de los robots que fallaron.

El Resultado: Cuando los investigadores usaron estos códigos para guiar su búsqueda de mejores diseños de robots, los nuevos robots funcionaron mucho mejor. En cinco tipos diferentes de desafíos (desde programación competitiva hasta matemáticas), los robots que usaron el diccionario mejoraron sus puntuaciones entre un 3.4% y un 7.5% en comparación con los robots que solo recibían comentarios de texto libre vagos.
La Analogía: Es como un entrenador que le dice a un jugador: "Sigues fallando la pelota porque estás mirando en el lugar equivocado" (un código específico) en lugar de solo decir: "Jugaste mal" (una puntuación genérica). El jugador sabe exactamente qué corregir.

2. Corregir Erroos Mientras se Trabaja (Monitoreo en Tiempo de Ejecución)
A veces, un robot está en medio de una tarea y empieza a salirse de los rieles. El artículo probó si el robot podía detenerse, revisar su propio "Diccionario de Errores" y corregirse a sí mismo antes de terminar.

El Resultado: Cuando el robot recibió este diccionario para revisarse a sí mismo, resolvió más problemas.
- En una prueba de ingeniería de software llamada SWE-bench, un robot llamado SWE-agent pasó de resolver el 60% de los problemas con la autoverificación normal al 70% con el diccionario.
- Otro robot, Claude Code, pasó de 64.0% a 70.7%.
La Conclusión: El diccionario ayudó al robot a detectar errores específicos y recurrentes (como olvidar revisar errores de sintaxis) que seguía pasando cuando solo usaba un aviso genérico de "revisa tu trabajo".

3. Seleccionar el Mejor Intento (Selección de Trayectoria)
Imagina que un robot intenta resolver un problema cinco veces. No sabes cuál es el correcto, pero tienes que elegir al ganador.

El Resultado: Los investigadores construyeron un "juez" que miraba los cinco intentos y contaba los "Códigos de Error". El intento con menos códigos de error era usualmente el ganador.
Los Números: Este método mejoró la precisión de elegir la respuesta correcta en 8 a 15 puntos en comparación con simplemente adivinar o usar una lista de control estándar. Fue especialmente bueno para detectar la diferencia entre un intento "cerca pero incorrecto" y uno "realmente correcto".

Lo que el Artículo Descarta (Y lo que No)

Los autores tienen cuidado de señalar lo que este sistema no es.

No es una varita mágica para todo: El artículo muestra que una lista de errores fija y predefinida (como una lista de un libro de texto estándar) está bien, pero no es tan buena como un diccionario construido específicamente para el estilo propio del robot. La parte "Adaptativa" es clave. Si usas una lista genérica, pierdes los errores únicos y extraños que solo comete tu robot.
No se trata de escribir mejores ensayos: El artículo probó si escribir los comentarios en un formato elegante y estructurado (como una lista) era el ingrediente secreto. Encontraron que el contenido del diccionario importaba más que el formato. La verdadera victoria fue tener una lista consistente y reutilizable de nombres para los errores, no solo la forma en que se disponían las palabras.
No es una invención humana: El artículo argumenta explícitamente contra que los humanos escriban estas listas a mano. Encontraron que cuando los humanos intentan adivinar qué errores cometerá un robot, pasan por alto los errores específicos y extraños. El propio comportamiento del robot es el mejor maestro.

¿Qué tan Seguros Estamos?

El artículo presenta estos hallazgos como resultados medidos de experimentos reales, no solo como suposiciones.

Los números son sólidos: Las mejoras (como el salto del 60% al 70% en la resolución de problemas) se midieron a través de múltiples pruebas diferentes y diferentes tipos de robots.
El "Diccionario" es compacto: Los autores demostraron que este diccionario es increíblemente eficiente. Puede comprimir una enorme cantidad de datos de fallos desordenados en una pequeña lista de códigos (unas 18 veces más pequeña) sin perder los detalles importantes.
Es amigable para los humanos: Cuando compararon el diccionario creado por el propio robot con una lista hecha por expertos humanos, el diccionario del robot en realidad coincidió con la comprensión de los expertos sobre los errores mejor que la lista creada por humanos. Esto sugiere que el robot es sorprendentemente bueno entendiendo sus propios errores.

En resumen, AdaMAST sugiere que la mejor manera de arreglar a un robot inteligente no es escribirle un nuevo manual o darle un regaño genérico. En su lugar, debes permitirle construir su propio diccionario de errores a partir de sus propios fallos, y luego usar ese diccionario para enseñarle cómo hacerlo mejor la próxima vez. Convierte una pila desordenada de errores en una hoja de ruta clara y accionable para la mejora.

Resumen Técnico: Taxonomías Adaptativas Fantásticas y Cómo Usarlas (AdaMAST)

1. Declaración del Problema

Los métodos actuales para mejorar los sistemas de agentes de Modelos de Lenguaje Extensos (LLM) sin modificar los pesos del modelo dependen del consumo de trazas de ejecución. Estos procedimientos —como la selección de trayectorias, la optimización de prompts/flujos de trabajo y el monitoreo en tiempo de ejecución— extraen retroalimentación de las trazas puras para diagnosticar fallos. Sin embargo, el artículo argumenta que las trazas puras son un medio subóptimo para acumular retroalimentación porque son:

Largas y específicas de cada instancia: Consumen un espacio significativo de la ventana de contexto.
Carecen de un vocabulario estable: Los patrones de fallo recurrentes (por ejemplo, un reintento específico de llamada a una herramienta o un verificador que aprueba automáticamente sin revisar) se vuelven a diagnosticar en prosa de texto libre en cada ejecución. Esto impide la acumulación de una interfaz diagnóstica compartida y reutilizable.
Ineficientes para los bucles de retroalimentación: Las críticas en texto libre se descartan después de cada ejecución, mientras que los resultados escalares (pasa/falla) carecen de profundidad diagnóstica.

Las taxonomías fijas existentes (por ejemplo, MAST) enfrentan limitaciones estructurales: presuponen roles de agente y conocimiento de dominio específicos que pueden no existir en un sistema objetivo, lo que genera un desajuste entre el vocabulario y los modos de fallo reales observados.

2. Metodología: AdaMAST

El artículo introduce AdaMAST (Adaptive Multi-Agent System Failure Taxonomies), un flujo de trabajo que induce una taxonomía de fallos compacta y fundamentada en evidencia directamente desde las trazas de ejecución de un sistema objetivo.

Arquitectura Central

La taxonomía inducida consiste en códigos de fallo con nombre organizados a lo largo de tres ejes fijos, lo que garantiza la comparabilidad entre sistemas permitiendo al mismo tiempo que el contenido se adapte:

A nivel de sistema (Eje A): Fallos que requieren cambios en el harness o la orquestación (por ejemplo, incumplimiento de instrucciones, estancamiento).
Específicos de rol (Eje B): Fallos específicos de los roles de agente descubiertos (por ejemplo, incumplimiento del verificador, agregación del coordinador). Estos son totalmente inducidos por la traza; si un sistema no tiene roles diferenciados, este eje permanece vacío.
Específicos de dominio (Eje C): Fallos que requieren conocimiento específico de la tarea (por ejemplo, razonamiento erróneo en combinatoria, violaciones de leyes físicas).

El Flujo de Inducción

El proceso de generación de la taxonomía es un costo de una sola vez por sistema objetivo, que consta de cuatro fases:

Análisis: Extrae el contexto del dominio, los roles de agente descubiertos y las señales de comportamiento recurrentes de una muestra de trazas.
Curación: Propone códigos candidatos para cada eje. Los códigos de sistema y de dominio son sembrados por prioridades amplias propuestas por el flujo de trabajo; los códigos de rol son totalmente inducidos de la arquitectura.
Consolidación: Elimina duplicados, repara violaciones de nomenclatura y aplica reglas de cobertura. Esta fase se compila en aproximadamente ocho llamadas a LLM.
Acuerdo entre Anotadores (Puerta de Despliegue): Cuatro anotadores de LLM independientes etiquetan trayectorias reservadas. La taxonomía se acepta solo si la media del $\kappa$ de Cohen por pares $\ge 0.75$ (a nivel de área de fallo) con un piso de cobertura de $0.70$. Si no se cumplen los objetivos, el sistema propone ediciones (fusionar, añadir, renombrar) y se ejecuta de nuevo.

Refinamiento en Línea

A medida que el sistema objetivo evoluciona (por ejemplo, durante la optimización basada en búsqueda), la taxonomía puede refinarse en línea. Los eventos de refinamiento fusionan, añaden o renombran códigos basados en trazas recientes, asegurando que el vocabulario siga el estado actual del sistema en lugar de una instantánea histórica.

Modos de Integración

La taxonomía inducida sirve como una interfaz de retroalimentación compartida para tres tipos de consumidores distintos:

Búsqueda de Agente-Sistema: Los diagnósticos codificados por la taxonomía (códigos activados + evidencia) reemplazan la reflexión en texto libre en los prompts de mutación para guiar la búsqueda evolutiva (por ejemplo, AdaEvolve).
Monitoreo en Tiempo de Ejecución: La taxonomía actúa como una "habilidad de tiempo de ejecución" o un ancla de contexto, permitiendo al agente auto-verificarse contra modos de fallo conocidos en puntos de control específicos.
Selección de Trayectorias: Un verificador (AdaMAST-Judge) convierte los códigos inducidos en criterios de verificación para clasificar trayectorias candidatas sin necesidad de verificadores de verdad fundamental (ground-truth).

3. Contribuciones Clave

Taxonomías de Fallos Adaptativas: Un flujo de trabajo que induce taxonomías compactas y fundamentadas en evidencia a partir de trazas sin necesidad de códigos escritos a mano o anotación humana por cada traza.
Interfaz de Retroalimentación Medible: Se demuestra que el vocabulario inducido es:
- Compacto: Comprime el contenido de los fallos en aproximadamente $\sim 18\times$ preservando las distinciones (el 89% de las trazas retienen firmas de códigos únicas).
- Fiel al Humano: Coincide con las anotaciones de expertos en fallos mejor que los vocabularios diseñados a mano bajo condiciones equivalentes ( $\kappa = 0.682$ vs. $0.516$ en TRAIL).
- Adaptativo: Las taxonomías inducidas para diferentes dominios comparten solo un Jaccard promedio de pares de $0.14$, demostrando especificidad hacia los roles y herramientas del sistema objetivo.
Mejora de Multi-Consumidor: La misma taxonomía inducida mejora el rendimiento en tres tareas distintas: búsqueda de agente-sistema, monitoreo en tiempo de ejecución y selección de trayectorias.

4. Resultados Experimentales

El artículo evalúa AdaMAST a través de tres configuraciones de integración y múltiples evaluaciones de referencia (benchmarks).

Búsqueda de Agente-Sistema

Utilizando AdaEvolve como base de búsqueda, los diagnósticos codificados por la taxonomía superaron a la reflexión de LLM de forma libre en todos los cinco benchmarks:

Frontier-CS: $26.0\% \to 32.7\%$ (+6.7 pp)
OlympiadBench: $87.9\% \to 91.9\%$ (+4.0 pp)
MMLU-Pro: $35.0\% \to 42.5\%$ (+7.5 pp)
TheoremQA: $60.0\% \to 65.0\%$ (+5.0 pp)
DROP: $88.2\% \to 91.7\%$ (+3.5 pp)
Mecanismo: En el caso de estudio de OlympiadBench, códigos específicos (por ejemplo, Coordinator Aggregation Mismatch) provocaron directamente ediciones arquitectónicas (promoviendo la verificación de una puerta binaria a un aumento de puntuación), lo que condujo a saltos en la puntuación.

Monitoreo en Tiempo de Ejecución

En SWE-bench Verified Mini, anclar los puntos de control al vocabulario inducido mejoró las tasas de resolución:

Claude Code: $64.0\%$ (Base) $\to 70.7\%$ (AdaMAST), superando a la Reflexión de texto libre ( $60\%$ ) y al checklist fijo de MAST ( $67.3\%$ ).
SWE-agent: $50\%$ (Base) $\to 70\%$ (AdaMAST), superando a Reflexion ( $60\%$ ) y a MAST ( $68\%$ ).
El vocabulario inducido redujo específicamente los fallos en la fase de verificación y convirtió resoluciones "inestables" en otras fiables.

Selección de Trayectorias

En Terminal-Bench 2.0, AdaMAST-Judge mejoró la precisión de selección de Best-of-5 sobre Pass@1 por 8–15 puntos y sobre el vocabulario fijo de MAST por 3.4–4.5 puntos en harnesses no saturados. Se demostró que los códigos activados discriminan entre trayectorias exitosas y fallidas (mediana de 3 códigos para éxito vs. 4 para fallo).

Validación

Alineación Humana: En el conjunto de datos TRAIL, el vocabulario inducido logró un $\kappa = 0.682$ frente a las etiquetas de expertos, superando significativamente al vocabulario de TRAIL diseñado a mano ( $\kappa = 0.516$ ) utilizando el mismo panel de anotación.
Compresión: La taxonomía comprimió el contenido de los fallos en aproximadamente $\sim 18\times$ (o $\sim 95\times$ menos tokens) manteniendo la equivalencia funcional con los depósitos de trazas puras para tareas de predicción descendentes.

5. Significado y Reivindicaciones

El artículo afirma que las taxonomías de fallos adaptativas cierran el ciclo entre las trazas que producen los agentes y los procedimientos que los mejoran.

El argumento central es que la "representación faltante" entre las trazas puras y los resultados escalares es un vocabulario de fallos nombrado, basado en evidencia y específico del sistema. Al inducir este vocabulario una vez a partir del propio comportamiento del sistema, este se convierte en un artefacto duradero que:

Amortiza el análisis: El costo del diagnóstico se paga una vez para generar la taxonomía, la cual se reutiliza en múltiples ejecuciones y procedimientos.
Permite la intervención dirigida: A diferencia de las críticas de texto libre, los códigos se mapean directamente a puntos de intervención (sistema, rol o dominio).
Rastrea la evolución: El vocabulario se adapta a medida que el sistema cambia, capturando la "larga cola" de fallos de rol y dominio que los catálogos fijos no pueden anticipar.

Los autores enfatizan que las ganancias no se deben simplemente al formato del prompt o al uso de texto estructurado, sino que emanan de la inducción y el uso de un vocabulario que es fiel a los modos de fallo del sistema de agentes específico. El artículo concluye que la mejora más barata para un sistema de agentes puede ser "primero aprender, en sus propios términos, cómo falla".