Synthetic Hallucinations, Real Gains: Hard Negatives from Frontier Models for FIM Hallucination Mitigation

Resumen Técnico: Alucinaciones Sintéticas, Ganancias Reales

Planteamiento del Problema
Los modelos de código de código abierto pequeños (3–7B de parámetros) utilizados para el autocompletado en IDE frecuentemente sufren de alucinaciones de Relleno en el Medio (FIM - Fill-in-the-Middle). Estas son completaciones que son sintácticamente naturales y localmente plausibles, pero que violan el estado real del proyecto, como llamar a métodos inexistentes, usar variables no definidas o importar paquetes ficticios. Las estrategias de mitigación existentes enfrentan limitaciones significativas:

1. Filtrado basado en ejecución: Requiere sandboxes por lenguaje y pruebas unitarias, los cuales no están disponibles para ediciones de mitad de pulsación de tecla o archivos que aún no se pueden parsear.
2. Optimización de Preferencias (DPO/ORPO): Requiere grandes corpora de preferencias anotadas por humanos o señales de recompensa por cada rollout, que son difíciles de generar a la granularidad de huecos FIM específicos.

Metodología
Los autores proponen un pipeline libre de ejecución que aprovecha modelos de código de frontera para sintetizar negativos difíciles (completaciones plausibles pero incorrectas) para entrenar modelos más pequeños. La idea central es invertir la receta estándar de datos sintéticos: en lugar de generar código correcto y verificarlo, el pipeline genera código incorrecto y lo contrasta contra la edición del desarrollador "dorada" (verdad fundamental).

El pipeline opera en cuatro etapas:

1. Muestreo de Datos: El sistema extrae un corpus multilingüe con licencia permisiva de GitHub público (cubriendo C#, Go, Java, JavaScript, PHP, Python, Ruby y Rust) para extraer ~400k contextos FIM (prefijo, completación dorada, sufijo).
2. Síntesis de Negativos Difíciles: Un panel de tres generadores de código de frontera (GPT-5.2-Codex, GPT-5.4, GPT-5.5) produce una completación alucinada por contexto para cuatro tipos específicos de alucinación definidos por la taxonomía Delulu:
   • Método: Reemplazar el nombre de un método por uno inventado pero plausible.
   • Parámetro: Inyectar argumentos de palabra clave o posicionales falsos.
   • Variable No Definida: Reemplazar un identificador por uno no definido en el alcance.
   • Importación: Reemplazar una importación real con un paquete o símbolo ficticio.
3. Curación: El sistema crea un conjunto de datos emparejado (elegido/dorado vs. rechazado/alucinado). Se imponen cuotas por lenguaje y tipo para asegurar el equilibrio y se excluyen datos que se solapen con los benchmarks de evaluación.
4. Entrenamiento: Los autores aplican Ajuste Fino Supervisado (SFT) en el lado "elegido" (dorado) de los datos. Crucialmente, el entrenamiento apunta exactamente al límite del hueco FIM, enseñando al modelo a detener la generación correctamente. El lado rechazado (alucinado) se utiliza para comparaciones contrastivas (DPO/ORPO) en estudios de ablación, pero no es estrictamente requerido para la receta de SFT.

Se introduce un mecanismo secundario, la "tasa de engaño" (fool rate), como una señal de dificultad. Un panel de jueces LLM califica las alucinaciones basándose en qué tan seguido son confundidas con código correcto. Esto permite filtrar el conjunto de entrenamiento para enfocarse en negativos más difíciles, aunque la prueba de concepto principal no depende de este filtrado.

Contribuciones Clave

• Pipeline Libre de Ejecución: Un método para generar datos FIM emparejados (elegido, rechazado) sin sandboxes, pruebas unitarias o requisitos de parseo de archivos, basándose únicamente en el contraste entre una edición de verdad fundamental y una alucinación generada por un modelo de frontera.
• Reproducibilidad de Código Abierto: Los autores liberan el código completo del pipeline (prompts de generación, armazón de juicio, curación y recetas de ajuste fino), permitiendo la reproducción en cualquier corpus con licencia permisiva.
• Agnosticismo del Modelo Base: La receta se valida en cuatro familias de bases de 7B/3B (Qwen2.5-Coder, StarCoder2, CodeLlama), demostrando que la señal de corrección de alucinaciones está codificada en los datos y no en arquitecturas de modelos específicas.
• Comportamiento de Parada: Evidencia de que la receta enseña a los modelos a detener la generación en el límite correcto, un modo de falla crítico en tareas FIM.

Resultados
El ajuste fino de Qwen2.5-Coder-7B-Instruct en un subconjunto curado de 100k filas produjo mejoras significativas:

• Benchmark Delulu: El Exact Match (EM) aumentó en +18.8 puntos (de ~42.8% a 61.4%) en los siete lenguajes y los cuatro tipos de alucinación. La Similitud de Edición (ES) mejoró en +0.22.
• FIM General: La receta mejoró el rendimiento en los benchmarks HumanEval-Infilling y SAFIM en todas las divisiones, incluyendo flujo de control y completación de API.
• Modelo 3B: La misma receta en Qwen2.5-Coder-3B mejoró el EM de Delulu en +12.8 puntos, pero mostró un compromiso (trade-off), regresando en divisiones específicas de HumanEval-Infilling (multilínea) debido a restricciones de capacidad.
• SFT vs. Contrastivo: En el mismo conjunto de datos emparejados, SFT igualó o superó el rendimiento de ORPO y superó significativamente a DPO. DPO falló al internalizar el comportamiento de parada, provocando una sobre-generación, mientras que SFT aprendió con éxito la secuencia de tokens correcta y el punto de parada.
• Ablaciones:
  • Tamaño: El rendimiento se satura alrededor de las 50k filas; 100k ofrece rendimientos decrecientes.
  • Lenguaje: La transferencia translingüística requiere un mínimo de cinco lenguajes diversos para iniciarse; más allá de eso, el presupuesto es mejor gastarlo en escala que en diversidad.
  • Dificultad: La señal supervisora más valiosa proviene del "medio disputado" de la distribución de la tasa de engaño (alucinaciones que confunden a los jueces pero no son unánimes), en lugar de los extremos más fáciles o más difíciles.

Significancia y Reivindicaciones
El artículo afirma que los negativos difíciles sintéticos generados por modelos de frontera pueden servir como una señal de ajuste fino supervisado efectiva para reducir las alucinaciones en modelos más pequeños sin la sobrecarga de entornos de ejecución. Los autores enfatizan que:

1. Calidad sobre Cantidad: Un subconjunto de datos curado y difícil (50k filas) es más efectivo que conjuntos más grandes y no curados.
2. Suficiencia de SFT: Para tareas FIM sensibles a la parada, un corpus de SFT de alta calidad y curado es una opción más segura y efectiva que el entrenamiento contrastivo explícito (DPO/ORPO), que puede tener dificultades con el control de la longitud de generación.
3. Generalización: El enfoque mejora las capacidades generales de FIM (no solo la reducción de alucinaciones) cuando se aplica a modelos de 7B, aunque los modelos de 3B requieren una curación cuidadosa para evitar el olvido catastrófico en tipos de tareas específicos.

Los autores se mantienen modestos respecto a las limitaciones, señalando que sus datos de entrenamiento consisten en alucinaciones sintéticas en lugar de errores de modelos del mundo real, y que el modelo 3B exhibe un compromiso dependiente de la capacidad entre la reducción de alucinaciones y la precisión general de FIM. No pretenden que el método resuelva todos los tipos de alucinación (por ejemplo, errores de lógica complejos), sino que demuestran su eficacia para alucinaciones a nivel de identificador.