Investigating Metamorphic Fuzz Oracle Enhancement via Large Language Models

Resumen Técnico: Investigación de la Mejora de Oráculos de Fuzzing Metamórfico mediante Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
El fuzzing de caja gris (greybox fuzzing) depende en gran medida de los controladores de fuzzing (fuzz drivers) para definir el espacio de prueba y encapsular las interfaces de destino. Sin embargo, un análisis sistemático de 1.068 controladores de OSS-Fuzz revela una limitación crítica: el 81,1% de los controladores existentes carecen de oráculos funcionales. En su lugar, dependen únicamente de "oráculos implícitos" (caídas del programa o crashes) o "pseudo oráculos" (verificaciones de validez de entrada) para detectar errores. Esta práctica pasa por alto la semántica funcional de las bibliotecas bajo prueba, restringiendo la capacidad de búsqueda de errores del fuzzing únicamente a aquellos defectos que causan caídas. Si bien el testing metamórfico ofrece una solución al definir relaciones entre entradas y salidas (Relaciones Metamórficas o MRs) para detectar errores funcionales, la construcción e integración manual de estos oráculos en los controladores existentes requiere una labor intensiva y un profundo conocimiento del dominio, lo que crea una barrera para la automatización.

Metodología: MetaFOE
Los autores proponen MetaFOE, un nuevo marco que aprovecha los Modelos de Lenguaje de Gran Escala (LLMs) para automatizar la Mejora de Oráculos de Fuzzing Basada en Metamorfismo (MFOE). El proceso consta de dos fases primarias:

1. Generación de Relaciones Metamórficas (MRG): El LLM analiza el código fuente y la documentación de la biblioteca objetivo para generar MRs candidatas. Estas relaciones describen comportamientos esperados (por ejemplo, "añadir espacios en blanco no debería cambiar los resultados del análisis").
2. Implementación de Oráculos de Fuzzing (FOI): El LLM toma el controlador de fuzzing original y una MR válida para sintetizar un "meta controlador". Esto implica inyectar oráculos explícitos (típicamente sentencias assert) en el controlador para verificar la MR durante la ejecución.

Para garantizar la calidad, el marco emplea un proceso de validación riguroso:

• Validación de MR: Las MR generadas son desduplicadas y validadas manualmente por expertos para comprobar su aplicabilidad.
• Validación de Controlador: Los meta controladores generados se someten a una verificación de tres fases:
  • A nivel de compilación: Reprompting iterativo para corregir errores de compilación.
  • A nivel de tiempo de ejecución: Fuzzing a corto plazo para descartar controladores que sean inestables (caídas excesivas) o ineficaces (baja cobertura).
  • Capacidad de Fuzzing: Campañas de largo plazo (3 horas) para medir la cobertura de bordes (edge coverage) y la detección de errores.

El estudio evalúa MetaFOE utilizando tres LLMs de vanguardia (GLM-4-Plus, DeepSeek-V3.2, GPT-4.1) y cinco estrategias de prompting (Zero-shot, Few-shot, Critique, Expert, Chain-of-Thought).

Contribuciones Clave

• Pipeline Novedoso: Este es el primer trabajo que propone e implementa un pipeline automatizado para mejorar los controladores de fuzzing existentes con oráculos metamórficos, cambiando el enfoque de la generación de controladores a la mejora de oráculos.
• Estudio Empírico Sistemático: Los autores proporcionan un análisis exhaustivo del estado actual de los oráculos de fuzzing en OSS-Fuzz y realizan experimentos extensos que consumen 213 millones de tokens y más de dos años de CPU de tiempo de fuzzing.
• Liberación de Artefactos: El estudio genera y libera 6.228 meta controladores válidos, junto con el conjunto de datos y los scripts utilizados para la investigación.

Resultados Experimentales
La evaluación se realizó en 10 proyectos representativos de OSS-Fuzz:

• Generación de MR: MetaFOE generó 3.475 MRs, de las cuales el 77,3% (2.685) fueron consideradas aplicables. La aplicabilidad mostró una débil correlación negativa con el tamaño del proyecto (LoC).
• Validez del Controlador: A partir de las MR aplicables, el marco implementó 12.351 candidatos a meta controladores. Tras la validación, 6.228 (50,4%) resultaron ser válidos.
• Rendimiento de Fuzzing: En comparación con los controladores originales, los meta controladores válidos lograron:
  • Una mejora promedio del 18,7% en la cobertura de bordes (edge coverage).
  • El descubrimiento de 1.528 errores únicos en los 10 proyectos. Notablemente, los controladores originales provocaron caídas en solo 2 de los 10 proyectos, mientras que los meta controladores encontraron errores en los 10.
  • Los errores incluyeron tanto Corrupciones de Memoria (MC) como Fallos de Aserción (AF), siendo los AF significativamente más prevalentes debido a la naturaleza de los oráculos inyectados.
• Sensibilidad de LLM y Prompt:
  • LLMs: DeepSeek-V3.2 tuvo el mejor desempeño en la generación de MR aplicables (82,9% de aplicabilidad), mientras que GPT-4.1 alcanzó la tasa de validez más alta para los controladores generados (55,4%).
  • Prompts: El sistema fue menos sensible a las estrategias de prompting. Chain-of-Thought (COT) produjo el mayor número de controladores válidos, mientras que los prompts de tipo Expert (EXP) produjeron controladores con las mejores capacidades de fuzzing (cobertura y detección de errores).

Significancia y Reivindicaciones
El artículo sostiene que los oráculos metamórficos son esenciales para descubrir errores funcionales que los oráculos basados en caídas pasan por alto. El estudio demuestra que los LLMs son factibles y efectivos para automatizar las tareas complejas de extracción de relaciones metamórficas e integración en los controladores de fuzzing.

Los autores destacan que, si bien los LLM pueden mejorar significativamente las capacidades de fuzzing, no son perfectos; el estudio observó falsos positivos (por ejemplo, en el caso de estudio de Libyaml) donde las suposiciones de las MR no se mantenían para todos los casos de borde. En consecuencia, el artículo aboga por un enfoque híbrido donde los LLM generen los oráculos iniciales, seguido de un refinamiento humano o asistido por LLM para mitigar los falsos positivos. El trabajo ofrece una visión valiosa para la comunidad de fuzzing: ir más allá de los oráculos basados únicamente en caídas mediante la mejora metamórfica automatizada puede aumentar sustancialmente la eficacia en la búsqueda de errores del fuzzing de caja gris.