🤖 machine learning

DREvo: Distilling Recalibrated Historical Experience for Harness Self-Evolution

DREvo es un novedoso método de autoevolución autónoma que aborda la inestabilidad de los enfoques existentes mediante la recalibración dinámica de la experiencia histórica y la destilación de direcciones de búsqueda accionables, logrando así un rendimiento superior y trayectorias de evolución más fluidas en evaluaciones de razonamiento y de agentes bajo presupuestos limitados.

Autores originales: Hanghui Guo, Weijie Shi, Zhangze Chen, Shengxiang Xu, Yishu Wang, Yimei Zhang, Wangze Ni, Jia Zhu, Shimin Di

Publicado 2026-07-30

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hanghui Guo, Weijie Shi, Zhangze Chen, Shengxiang Xu, Yishu Wang, Yimei Zhang, Wangze Ni, Jia Zhu, Shimin Di

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot superinteligente cómo resolver un rompecabezas. Le das al robot un cerebro (un Modelo de Lenguaje Grande), pero el cerebro necesita un cuerpo y un conjunto de reglas para poder trabajar realmente. Este sistema de "cuerpo y reglas" se llama harness (arnés o estructura). Piensa en el harness como el sistema operativo del robot: decide cómo busca información, cómo utiliza herramientas como una calculadora o un editor de código, y cómo recuerda lo que acaba de hacer. Si el harness es desordenado o confuso, incluso el cerebro más inteligente tropezará.

Durante mucho tiempo, construir un buen harness fue como intentar tunear un coche de carreras a mano. Los expertos tenían que adivinar qué fallaba, retocar algunos cables, probar y esperar lo mejor. Pero recientemente, los científicos descubrieron que los robots podían ayudar a arreglar sus propios cuerpos. Podían intentar un cambio, ver si funcionaba, recordar el resultado e intentarlo de nuevo. Esto se llama autoevolución. La idea es que, si el robot lleva un diario de todos sus intentos pasados, puede aprender de sus errores y mejorar con el tiempo. Pero aquí está el truco: el hecho de que el robot tenga un diario no significa que sepa leerlo. A veces, un truco que funcionó ayer puede ser un desastre hoy porque la situación del robot ha cambiado. Este artículo se pregunta: ¿Cómo nos aseguramos de que el robot aprenda las lecciones correctas de su historia sin confundirse con consejos viejos y desactualizados?

El Problema: El Diario Confuso del Robot

Imagina que estás entrenando a un perro para que traiga una pelota. Lanzas la pelota, el perro corre y, a veces, la atrapa, otras veces la suelta. Anotas cada intento en un cuaderno. Ahora, imagina que el perro recibe un collar nuevo, o que el viento empieza a soplar de forma diferente, o que cambias una pelota de tenis por un juguete que hace ruido. Si solo miras tu cuaderno y dices: "La última vez el perro soltó la pelota cuando corrió a la izquierda, así que siempre debería correr a la derecha", podrías estar equivocado. Esa vieja lección podría no aplicarse a la nueva situación.

Esto es exactamente lo que ocurre con los agentes de IA. Los investigadores descubrieron que, cuando los robots intentan mejorar su propio "harness" observando todo su historial de intentos, a menudo se quedan atrapados en un bucle. Pueden intentar un arreglo, ver que falla, intentar algo más, ver que falla de nuevo, y de repente volver a un método que falló hace semanas. Su rendimiento sube y baja como una montaña rusa en lugar de subir suavemente una colina. Los investigadores se dieron cuenta de que los robots sufrían dos problemas principales:

El problema de "¿Sigue siendo esto cierto?": El robot no comprobaba si sus viejas lecciones seguían siendo válidas. Trataba cada éxito o fracaso pasado como si estuviera ocurriendo en este mismo instante, aunque el código del robot hubiera cambiado.
El problema de "¿Qué hago después?": Incluso si el robot recordaba una lección, no sabía exactamente qué parte de su cuerpo debía arreglar o cómo arreglarla. Era como decirle: "Se te cayó la pelota", sin decirle: "Necesitas apretar el agarre".

La Solución: DREvo (El Bibliotecario Inteligente)

Para solucionar esto, los autores crearon un nuevo método llamado DREvo. Puedes pensar en DREvo como un bibliotecario superorganizado que gestiona el diario del robot. En lugar de simplemente entregarle al robot una pila de papeles, DREvo organiza la información, comprueba si sigue siendo relevante y le da al robot una instrucción clara y específica sobre qué hacer a continuación.

DREvo hace esto en tres pasos divertidos:

1. El "Etiquetador" (Anclaje de evidencia a nivel de función)
En la forma antigua, el diario del robot era una masa gigante y desordenada de texto. DREvo corta esta masa en piezas diminutas y etiquetadas. Observa cada cambio que el robot realizó y lo vincula a una "función" específica (como una herramienta o una regla de memoria concreta). Es como tomar un libro de recetas desordenado y etiquetar cada cambio de ingrediente con el paso exacto al que pertenece. De esta forma, cuando el robot quiere aprender, sabe exactamente de qué parte de su cuerpo está hablando una lección pasada.

2. El "Comprobador de Frescura" (Recalibración de evidencia dependiente del estado)
Esta es la parte más importante. Antes de que el robot utilice una lección antigua, DREvo hace dos preguntas: "¿Es esta lección fiable?" y "¿Se ajusta esta lección al cuerpo actual del robot?".

Fiabilidad: ¿Funcionó esta lección cada vez que se usó anteriormente, o fue solo un golpe de suerte?
Frescura: ¿Es el código del robot similar al de cuando se aprendió esta lección? Si el robot ha cambiado su "agarre" (su estructura de código), una lección antigua sobre el agarre podría no funcionar ya.
DREvo otorga una "puntuación" a cada lección. Si una lección es vieja o el robot ha cambiado demasiado, la puntuación baja y el robot la ignora. Si la lección es fresca y fiable, la puntuación se mantiene alta.

3. El "Silbato del Entrenador" (Destilación de intención de búsqueda condicionada por el rol)
Finalmente, DREvo no solo le da al robot una lista de hechos; le da un plan de juego. Basándose en las lecciones de alta puntuación, DREvo asigna al robot un "rol" específico para el siguiente intento:

Explotar (Exploit): "¡Este truco funcionó genial antes! ¡Hazlo de nuevo!"
Evitar (Avoid): "¡Este truco causó un error la última vez! ¡No lo hagas!"
Reintentar (Retest): "No estamos seguros de esto. Vamos a probarlo con cuidado para ver si funciona ahora".
Explorar (Explore): "No tenemos pistas claras. Vamos a intentar algo completamente nuevo".
Esto convierte el vago sentimiento de "necesito mejorar" del robot en una orden clara y accionable como: "Ve a arreglar la herramienta de memoria usando la estrategia de 'Explotar'".

Lo que Encontraron

Los investigadores probaron DREvo en cinco desafíos diferentes, que iban desde resolver acertijos de química y diagnosticar síntomas médicos hasta corregir código informático y navegar por una terminal virtual. Compararon DREvo con otros robots que intentaban evolucionarse a sí mismos y con robots con harness diseñados por humanos.

Los resultados fueron muy prometedores. Bajo un presupuesto limitado de intentos (es decir, no dejaron que el robot practicara para siempre), DREvo encontró los mejores harnesses en todas las categorías.

En tareas de diagnóstico médico, DREvo alcanzó un 89.2% de precisión, superando al segundo mejor método por 2.4 puntos porcentuales.
En razonamiento legal, alcanzó un 49.0%, superando al siguiente mejor por 4.0 puntos porcentuales.
En la predicción de reacciones químicas, obtuvo un 25.0%, que es 9.0 puntos porcentuales más alto que el segundo clasificado.
Para tareas agénticas (como arreglar código o usar una terminal informática), DREvo mejoró el rendimiento en un promedio del 16.2% en tareas de razonamiento y un 13.8% en tareas de agentes en comparación con los otros métodos.

Quizás lo más importante es que los investigadores notaron que el progreso de DREvo fue fluido. Mientras que los sistemas de otros robots subían y bajaban salvajemente (retrocediendo y recuperándose), la precisión de DREvo subía de forma constante. También logró mantener su "espacio de pensamiento" (contexto) pequeño, alrededor de 2.9K tokens, mientras que otros métodos necesitaban más de 5.3K tokens y aun así rendían peor.

La Conclusión

El artículo sugiere que no basta con darle a un robot un historial de sus experiencias pasadas. Para aprender verdaderamente, el robot necesita un sistema que pueda comprobar si las viejas lecciones siguen siendo aplicables y traducir esas lecciones en instrucciones claras y específicas. DREvo actúa como ese sistema, convirtiendo un historial desordenado de ensayo y error en un camino de mejora suave y fiable. Demuestra que, siendo inteligentes en cómo utilizamos nuestras experiencias pasadas, podemos ayudar a que los agentes de IA evolucionen mucho más rápido y de forma más fiable, incluso cuando no tenemos tiempo ilimitado para dejar que practiquen.

Resumen Técnico: DREvo – Destilación de la Experiencia Histórica Recalibrada para la Autoevolución de Harnesses

Declaración del Problema

El rendimiento de los agentes de Modelos de Lenguaje Extensos (LLM) depende en gran medida de su marco de ejecución externo, conocido como harness (arnés), el cual gobierna la construcción del contexto, la gestión de la memoria, la invocación de herramientas y el análisis de salida. Si bien el diseño manual de un harness es efectivo, requiere mucha mano de obra y es difícil de escalar a medida que las tareas y las interacciones entre componentes se vuelven más complejas. En consecuencia, la investigación se ha desplazado hacia la autoevolución de harnesses, donde los LLM proponen, evalúan y mejoran iterativamente los harnesses utilizando la experiencia de ensayos históricos.

Sin embargo, los métodos de autoevolución impulsados por el historial existentes (por ejemplo, Meta-harness, AHE, ACE) sufren de trayectorias de evolución no estacionarias. A pesar de acumular experiencia histórica, la precisión suele fluctuar significativamente en lugar de mejorar de manera constante. Los autores identifican dos limitaciones fundamentales en cómo los métodos actuales aprovechan los datos históricos:

Falta de Reevaluación Dinámica ("¿Qué sigue siendo válido?"): La evidencia histórica depende del estado. Una modificación que fue efectiva en un estado de harness anterior puede volverse inválida o perjudicial a medida que el harness evoluciona, pero los métodos existentes tratan los registros pasados como estáticamente válidos.
Falta de Dirección de Búsqueda Explícita ("¿Hacia dónde evolucionar después?"): La experiencia histórica se presenta a menudo como registros brutos o resúmenes. Los métodos existentes dependen del razonamiento implícito del proponente para decidir qué componente modificar y cómo, lo que conduce a direcciones de búsqueda inestables y un uso ineficiente de los presupuestos de evolución limitados.

Metodología: El Marco de Trabajo DREvo

Para abordar estas limitaciones, los autores proponen DREvo (Destilación de la Experiencia Histórica Recalibrada), un método de autoevolución que transforma los registros de ensayos brutos en una guía accionable y consciente del estado. El marco consta de tres componentes secuenciales:

1. Anclaje de Evidencia a Nivel de Función

Los registros de ensayos brutos son heterogéneos y mezclan cambios de código, trayectorias de ejecución y retroalimentación. DREvo analiza estos registros para crear unidades de evidencia ancladas a funciones.

Mecanismo: Mapea los diffs de código (cambios entre $h_{t-1}$ y $h_t$ ) a componentes funcionales específicos (por ejemplo, uso de herramientas, gestión de memoria) basándose en los límites de los rangos de origen.
Salida: Cada unidad de evidencia $e_{t,c}$ vincula un componente específico $c$ , su cambio de código $\delta_{t,c}$ y el resultado observado (estadísticas globales, resultados de tareas, patrones de fallo).
Atribución: Esto localiza la retroalimentación en componentes específicos, permitiendo una atribución más precisa del éxito o el fracaso.

2. Recalibración de Evidencia Dependiente del Estado

Antes de reutilizar la evidencia histórica, DREvo recalibra dinámicamente su validez basándose en el estado actual del harness. Calcula un peso calibrado $w_e$ para cada unidad de evidencia basado en dos factores:

Fiabilidad Histórica ( $r_t(e)$ ): Mide la consistencia y la frescura.
- Consistencia de Resultado: La fracción de invocaciones pasadas donde la polaridad del resultado (éxito/fallo) coincidió con la polaridad de la evidencia actual, ponderada por la magnitud del cambio de rendimiento.
- Frescura: Un factor de decaimiento basado en el tiempo transcurrido desde que la evidencia fue utilizada o creada por última vez.
Compatibilidad Estructural ( $q_t(e)$ ): Mide si la implementación del componente asociada con la evidencia sigue siendo estructuralmente similar al componente actual. Esto se calcula utilizando la Distancia de Edición de Árbol (TED) sobre Árboles de Sintaxis Abstracta (AST), normalizando los detalles léxicos pero preservando el flujo de control y la lógica.
Calibración: El peso final es la media armónica de la fiabilidad y la compatibilidad, asegurando que la evidencia solo sea confiable si es tanto históricamente consistente como estructuralmente relevante.

3. Destilación de Intención de Búsqueda Condicionada por Rol

En lugar de alimentar la evidencia bruta al proponente, DREvo destila la evidencia calibrada en una intención de búsqueda explícita ( $s_t$ ) que especifica qué hacer y dónde buscar.

Partición de Evidencia: La evidencia recuperada se categoriza en tres conjuntos basados en su peso y polaridad: Positiva Fiable ( $X_t$ ), Negativa Fiable ( $A_t$ ) y de Baja Confianza ( $T_t$ ).
Activación de Rol: Basándose en estos conjuntos, se activa un rol de búsqueda:
- Explotar (Exploit): Si existe evidencia positiva fiable, se guía al proponente para heredar o refinar estas modificaciones.
- Evitar (Avoid): Si existe evidencia negativa fiable, se guía al proponente para evitar modificaciones dañinas específicas.
- Re-testear (Retest): Si solo existe evidencia de baja confianza, se guía al proponente para reevaluar estas direcciones bajo el estado actual.
- Explorar (Explore): Si no existe evidencia relevante o los re-testeos previos fallaron, se permite al proponente explorar libremente nuevas direcciones basadas en los patrones de fallo actuales.
Destilación: El rol activado y los patrones de fallo actuales se destilan en un prompt estructurado ( $s_t$ ) que dirige explícitamente al proponente hacia un componente objetivo y una dirección de modificación.

Principales Contribuciones

Identificación del Problema: El artículo identifica la fluctuación del rendimiento en la autoevolución de harnesses como un desafío de fiabilidad arraigado en el fallo de reevaluar dinámicamente la validez histórica y la falta de políticas de búsqueda explícitas.
Marco de Trabajo DREvo: Un método novedoso que ancla la evidencia a las funciones, recalibra la validez basada en la compatibilidad del estado y la consistencia histórica, y destila esto en intenciones de búsqueda condicionadas por rol.
Validación Empírica: Experimentos extensos que demuestran trayectorias de evolución más suaves y un rendimiento superior en diversos benchmarks.

Resultados Experimentales

Los autores evaluaron DREvo en cinco benchmarks: tres tareas de Razonamiento de Dominio (USPTO, Symptom2Disease, Law) y dos Tareas Agénticas (Terminal-Bench 2.0, SWE-Bench Verified).

Rendimiento General: DREvo logró la mayor precisión en los cinco benchmarks bajo presupuestos de evolución limitados (20 iteraciones para razonamiento, 10 para tareas agénticas).
- Razonamiento de Dominio: Ganancias promedio del 16.2% sobre las líneas base. Específicamente, mejoró USPTO en un 9.0%, S2D en un 2.4% y Law en un 4.0% respecto a los segundos mejores métodos.
- Tareas Agénticas: Ganancias promedio del 13.8% sobre las líneas base. Notablemente, en SWE-Bench Verified, DREvo evolucionó un harness inicial orientado a la terminal hacia un harness competitivo de reparación de código sin ingeniería manual específica de la tarea.
Trayectoria de Evolución: A diferencia de las líneas base (por ejemplo, Meta-harness) que mostraron grandes oscilaciones de precisión y saturación de contexto, DREvo exhibió curvas de mejora más suaves y mantuvo un tamaño de contexto acotado (~2.9K tokens).
Robustez: Bajo un desvío controlado del estado del componente (simulando cambios en el código del harness), DREvo mejoró el rendimiento en 11 de 16 configuraciones, mientras que el "uso ciego" de la evidencia (sin recalibración) disminuyó el rendimiento en la mayoría de los casos.
Estudios de Ablación: Eliminar cualquiera de los tres componentes (Anclaje, Recalibración, Destilación) resultó en caídas de rendimiento, confirmando sus roles complementarios.

Significado y Reivindicaciones

El artículo afirma que DREvo aborda la inestabilidad fundamental de la búsqueda impulsada por el historial en la autoevolución de harnesses. Al pasar de un uso de la historia estático e implícito a una guía dinámica, explícita y consciente del estado, DREvo permite el descubrimiento fiable de harnesses de alto rendimiento dentro de presupuestos computacionales limitados. Los autores enfatizan que sus ganancias provienen de la calidad de la guía de búsqueda (recalibración y destilación) más que de simplemente exponer al proponente a más datos históricos o compresión de contexto. El trabajo sugiere que la futura evolución de los harnesses requiere mecanismos para validar continuamente la aplicabilidad de las experiencias pasadas a medida que el estado del sistema evoluciona.