Resumen Técnico: EVOREPAIR

Declaración del Problema

La Reparación Automatizada de Vulnerabilidades (AVR) utilizando Modelos de Lenguaje Grande (LLM) ha demostrado ser prometedora, pero enfrenta dos limitaciones críticas que obstaculizan su escalabilidad y efectividad:

1. Falta de Acumulación de Experiencia Intra-Vulnerabilidad: Los métodos existentes a menudo tratan cada intento de reparación como un proceso sin estado. Incluso cuando se exploran múltiples trayectorias de reparación para una sola vulnerabilidad, los éxitos intermedios, los fallos y las señales de diagnóstico rara vez se destilan en conocimiento reutilizable. En consecuencia, los LLM pueden seguir repetidamente caminos improductivos o cometer errores similares a través de las iteraciones.
2. Falta de Reutilización de Experiencia Trans-Vulnerabilidad: Los enfoques actuales de AVR tratan en gran medida cada vulnerabilidad como una tarea aislada. Aunque existen métodos aumentados por recuperación, generalmente dependen de parches de referencia estáticos y específicos de la instancia, en lugar de conocimiento de reparación dinámico y generalizable. A medida que crece el volumen de vulnerabilidades reportadas (CVE), este modelo de reparación aislada, una por una, se vuelve cada vez menos escalable.

El desafío central es cómo permitir que los sistemas AVR acumulen, refinen y reutilicen continuamente la experiencia de reparación tanto dentro del proceso de reparación de una sola vulnerabilidad como a través de diferentes vulnerabilidades.

Metodología: EVOREPAIR

Para abordar estos desafíos, los autores proponen EVOREPAIR, el primer marco de agente auto-evolutivo basado en experiencia para AVR. El sistema opera bajo un paradigma cíclico de aprendizaje y reparación que consta de cuatro componentes principales:

1. Definición de Experiencia Específica del Dominio

EVOREPAIR define un esquema estandarizado para la "experiencia" para garantizar la reutilización y la transferibilidad. A diferencia de los registros de interacción crudos, una entrada de experiencia es una abstracción estructurada que comprende cinco dimensiones:

• Introducción y Análisis de la Vulnerabilidad: Descripción concisa del tipo, ubicación, causa raíz e impacto.
• Estrategia de Reparación: El enfoque de remediación elegido y su justificación.
• Análisis de la Trayectoria: Un relato destilado del proceso de reparación, destacando acciones exitosas, patrones de fallo y comandos/registros clave.
• Resumen de la Experiencia: Reglas prescriptivas compactas (precondiciones, objetivos, orientación) con ejemplos mínimos.
• Reflexión y Mejora: Evaluación del resultado, limitaciones y sugerencias para estrategias futuras.

2. Recuperación y Calentamiento de la Experiencia

Antes de cada turno de reparación, el agente consulta un Banco de Experiencias.

• Mecanismo de Recuperación: El sistema recupera experiencias basándose en una puntuación consolidada que combina similitud (coincidencia CVE/CWE) y calidad (una puntuación derivada de un LLM actuando como Juez que evalúa la calidad y la generalizabilidad).
• Estrategias de Calentamiento: Para abordar el problema del "arranque en frío" (banco de experiencias vacío), EVOREPAIR emplea una estrategia de Parche Estándar (utilizando parches oficiales históricos) o una estrategia de Pre-reparación (inicializando con experiencias pregeneradas de vulnerabilidades divulgadas anteriormente para evitar la fuga de la instancia propia).

3. Reparación de Vulnerabilidades (El Agente Vanilla)

El motor de reparación central es un "agente vanilla" construido sobre un marco de propósito general (inspirado en Mini-SWE-Agent).

• Inyección de Contexto: Las experiencias recuperadas se inyectan en el contexto del agente para guiar la trayectoria de reparación.
• Proceso: El agente interactúa con un entorno Docker utilizando un kit de herramientas Bash mínimo para reproducir la vulnerabilidad, localizar el fallo, generar un parche y verificarlo.
• Detención Anticipada: Para garantizar la eficiencia de costos, el sistema calcula una tasa de rendimiento a nivel de turno ($\alpha$), definida como la relación entre la ganancia marginal en el rendimiento de reparación y el aumento marginal en el costo. Si $\alpha$ cae por debajo de un umbral, el proceso de reparación termina anticipadamente.

4. Construcción y Actualización de la Experiencia

Después de un intento de reparación, el sistema construye nuevas experiencias a partir de la trayectoria:

• Compresión: Las trayectorias se comprimen en el esquema estructurado para evitar la hinchazón de la ventana de contexto.
• Puntuación: Un LLM actuando como Juez puntúa la nueva experiencia basándose en Calidad (capacidad de acción) y Generalizabilidad (transferibilidad).
• Actualización: El banco de experiencias se actualiza utilizando una estrategia que descarta entradas de menor calidad, retiene las de mayor calidad o "pule" entradas con puntuaciones idénticas fusionando detalles complementarios.

Contribuciones Clave

1. Nueva Dimensión de Investigación: El artículo introduce la auto-evolución basada en experiencia como una dimensión novedosa para AVR, centrándose en la acumulación y reutilización continua del conocimiento de reparación en lugar de solo en la recuperación estática.
2. Marco Novel (EVOREPAIR): Un marco cíclico que permite tanto la reutilización de experiencia trans-vulnerabilidad como la acumulación de experiencia intra-vulnerabilidad a través de un bucle estructurado de aprendizaje y reparación.
3. Evaluación Exhaustiva: Experimentos comprehensivos en múltiples conjuntos de datos (PATCHEVAL, SEC-bench, VUL4J) y modelos (GPT-5-mini, Qwen3.5-Plus, DeepSeek-v3.1, variantes Devstral) demuestran la efectividad y transferibilidad del marco.

Resultados Experimentales

Los autores evaluaron EVOREPAIR frente a 12 baselines representativos (incluyendo métodos basados en aprendizaje, basados en LLM y basados en agentes) utilizando GPT-5-mini como columna vertebral principal.

• Rendimiento General: EVOREPAIR logró el mejor rendimiento general, reparando el 93.47% de las vulnerabilidades en PATCHEVAL y el 87.00% en SEC-bench, para una tasa general del 90.46%.
• Comparación con Baselines:
  • Superó al baseline basado en LLM más fuerte, LoopRepair, en un 39.56% (PATCHEVAL) y un 33.50% (SEC-bench).
  • Superó a IntentFix en un 70.86% y un 50.50% respectivamente.
  • Excedió al agente auto-evolutivo reciente Live-SWE-Agent en un 6.98% en general.
• Impacto de la Auto-Evolución: A través de 15 turnos de reparación, EVOREPAIR rompió consistentemente el techo de rendimiento de los agentes vanilla, mostrando una convergencia más rápida y una mayor eficiencia. Por ejemplo, en PATCHEVAL con GPT-5-mini, las correcciones aumentaron de 194 (vanilla) a 215 (EVOREPAIR).
• Transferibilidad: Los experimentos en VUL4J (Java) utilizando experiencias destiladas de PATCHEVAL (JavaScript/Python/Go) mostraron ganancias significativas de rendimiento (por ejemplo, +9.67% para Qwen3.5-Plus), confirmando la transferibilidad entre lenguajes y conjuntos de datos.
• Análisis de Costos: Aunque la sobrecarga de prompts aumentó para algunos modelos, el costo total permaneció casi sin cambios o disminuyó para modelos más fuertes (por ejemplo, Qwen3.5-Plus vio una reducción de costos del 41.58%) debido a una convergencia más rápida y menos turnos redundantes.

Significado y Afirmaciones

El artículo afirma que EVOREPAIR fortalece sustancialmente la AVR agéntica al ir más allá de la recuperación estática y el prompting iterativo simple. Su significado radica en demostrar que:

• La experiencia es un recurso crítico: Acumular y refinar el conocimiento de reparación permite a los agentes evitar errores repetitivos y generalizar a través de vulnerabilidades heterogéneas.
• La auto-evolución es efectiva: El proceso cíclico de aprendizaje y reparación permite a los agentes mejorar sus propias capacidades de reparación con el tiempo sin intervención humana.
• Generalizabilidad: Las experiencias destiladas son lo suficientemente robustas para transferirse entre diferentes lenguajes de programación, conjuntos de datos y columnas vertebrales de modelos, sugiriendo un camino hacia sistemas de reparación de vulnerabilidades escalables y a gran escala.

Los autores concluyen que la auto-evolución basada en experiencia va más allá de las técnicas de auto-evolución existentes al modelar explícitamente el ciclo de vida del conocimiento de reparación, ofreciendo una dirección prometedora para abordar el creciente volumen de vulnerabilidades de seguridad del software.