Resumen Técnico: LLM Ghostbusters: Supresión Quirúrgica de Alucinaciones mediante Olvido Adaptativo

1. Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) desplegados en la generación de código producen frecuentemente alucinaciones: salidas que son lingüísticamente fluidas pero factualmente incorrectas. En el contexto del desarrollo de software, esto se manifiesta como alucinación de paquetes, donde un modelo inventa nombres de bibliotecas de software inexistentes (por ejemplo, un paquete de Python falso).

Este modo de fallo crea una vulnerabilidad crítica en la cadena de suministro conocida como slopsquatting. Un adversario puede registrar proactivamente estos nombres de paquetes alucinados en registros públicos (como PyPI) con cargas maliciosas. Cuando los desarrolladores o agentes autónomos instalan posteriormente estos paquetes basándose en la recomendación del LLM, se ejecuta el código malicioso.

Las estrategias de mitigación existentes son insuficientes para el refinamiento posterior al despliegue:

• El reentrenamiento completo es computacionalmente prohibitivo.
• La Generación Aumentada por Recuperación (RAG) y la verificación en tiempo de inferencia añaden latencia y complejidad sin alterar las representaciones aprendidas subyacentes del modelo.
• El Olvido de Máquina Estándar (por ejemplo, Ascenso de Gradiente, NPO) típicamente requiere un "conjunto de olvido" preespecificado y finito. Sin embargo, el espacio de los prompts que inducen alucinaciones es abierto, y las alucinaciones específicas que un modelo producirá son desconocidas hasta que son elicidas.
• El Colapso Parcial del Modelo (PMC) ofrece un mecanismo para la eliminación dirigida de contenido, pero asume un conjunto de datos fijo y conocido que olvidar, lo cual no se aplica a la naturaleza dinámica e ilimitada de las alucinaciones.

2. Metodología: Olvido Adaptativo (AU)

Los autores proponen el Olvido Adaptativo (AU), un marco de bucle cerrado posterior al despliegue diseñado para suprimir quirúrgicamente las alucinaciones preservando la utilidad general del modelo. AU opera completamente sobre datos sintéticos generados por el propio modelo, sin requerir anotación humana.

Componentes Principales

1. Bucle de Mutación Adaptativa de Prompts:

   • En lugar de depender de un conjunto de olvido estático, AU descubre continuamente nuevos contextos que inducen alucinaciones.
   • El sistema genera muestras desde el modelo actual. Si un prompt falla en inducir una alucinación o ha sido entrenado durante un número fijo de épocas, se considera "agotado".
   • El prompt se muta luego (variado semánticamente) para elicitar nuevos patrones de alucinación, asegurando que el modelo aprenda a suprimir patrones en lugar de memorizar pares específicos de prompt-salida.

2. Enrutamiento de Tokens de Máscara Tripartita:

   • Un novedoso mecanismo de enrutamiento de gradientes de tres valores particiona el flujo de tokens en tres poblaciones disjuntas para cada muestra de entrenamiento:
     • Máscara = 0 (Regularizar): Tokens contextuales (prompts, estructura de código, puntuación). Estos reciben una pérdida de Entropía Cruzada (CE) escalada para anclar la distribución del modelo y prevenir salidas incoherentes.
     • Máscara = 1 (Reforzar): Tokens válidos (por ejemplo, nombres de paquetes correctos confirmados por un oráculo de registro). Estos reciben una pérdida CE estándar para reforzar las generaciones correctas.
     • Máscara = 2 (Suprimir): Tokens alucinados (por ejemplo, nombres de paquetes inexistentes). Estos reciben una pérdida de Optimización de Preferencia Negativa (NPO) para empujar la masa de probabilidad lejos de estos tokens.
   • Este enmascaramiento tripartito asegura que los gradientes de refuerzo y supresión actúen sobre conjuntos de tokens disjuntos, evitando el colapso catastrófico que a menudo se observa al aplicar objetivos opuestos a los mismos tokens.

3. Función de Objetivo Híbrida:

   • La pérdida total combina los tres términos:
     $$L_{AU} = \lambda_{retain} L_{CE}^{T_{retain}} + \lambda_{forget} L_{NPO}^{T_{forget}} + \lambda_{reg} L_{CE}^{T_{reg}}$$
   • Esto permite que el modelo aprenda simultáneamente qué no generar (alucinaciones) y qué sí generar (alternativas válidas) dentro de la misma secuencia.

4. Bucles de Entrenamiento Anidados:

   • Para estabilizar el proceso de olvido, AU emplea una estructura de entrenamiento de dos escalas de tiempo:
     • Épocas Externas: Regenerar muestras y detectar alucinaciones para actualizar las máscaras tripartitas.
     • Épocas Internas: Entrenar sobre las muestras en caché de la época externa durante múltiples pasos antes de volver a muestrear. Esto permite que el modelo consolide la señal de supresión en lugar de "perseguir" constantemente muestras cambiantes.

3. Contribuciones Clave

1. Marco de Olvido Adaptativo: El primer método de olvido que acopla un bucle adaptativo de descubrimiento de alucinaciones con un objetivo híbrido a nivel de token, permitiendo la generalización a prompts no vistos sin un conjunto de olvido preespecificado.
2. Enrutamiento de Tokens de Máscara Tripartita: Un mecanismo que permite ediciones quirúrgicas dentro de una sola secuencia al particionar los tokens en categorías válidas, alucinadas y de contexto, permitiendo que los objetivos CE y NPO operen sin conflicto.
3. Mutación Adaptativa de Prompts: Una estrategia que extiende el olvido de conjuntos finitos a espacios de prompts abiertos, asegurando que el modelo suprima patrones de alucinación en lugar de sobreajustarse a prompts específicos.
4. Entrenamiento Anidado para Estabilidad: Un esquema de actualización de caché que aborda la inestabilidad de los métodos previos de olvido basados en colapso, crucial para una reducción estable de alucinaciones.
5. Evaluación Conjunta Sistemática: Una comparación empírica que evalúa simultáneamente la tasa de alucinación, la deriva distribucional y la utilidad de codificación, demostrando que una mitigación efectiva requiere equilibrar los tres ejes.

4. Resultados Experimentales

Los autores evaluaron AU en modelos DeepSeek-Coder (7B y 16B parámetros) utilizando un conjunto de datos de prompts de generación de código diseñados para elicitar alucinaciones de paquetes.

• Reducción de Alucinaciones:

  • En el modelo DeepSeek-7B, AU redujo la tasa total de alucinación de paquetes del 21.2% (Base) al 2.56%, una reducción del 88%.
  • En el modelo DeepSeek-16B, la tasa cayó del 27.75% al 6.13%, una reducción del 78%.
  • Esto superó significativamente a las líneas base: Ascenso de Gradiente (GA), Optimización de Preferencia Negativa (NPO) y Colapso Parcial del Modelo (PMC).

• Preservación de Utilidad:

  • AU mantuvo o mejoró ligeramente el rendimiento en los benchmarks estándar de codificación (HumanEval, MBPP y sus variantes EvalPlus).
  • Para DeepSeek-7B, la puntuación promedio del benchmark de codificación mejoró a 68.57 (vs. 66.98 para el modelo base).
  • Para DeepSeek-16B, la puntuación se mantuvo estable en 73.17 (vs. 77.4 para la base, notando una ligera caída atribuida a la dinámica de entrenamiento MoE pero aún superior a otras líneas base de olvido).

• Deriva Distribucional (Divergencia KL):

  • El análisis mostró que los cambios de comportamiento inducidos por AU estaban altamente concentrados en la distribución de generación de paquetes (divergencia KL ~1.4 nats para consultas de paquetes) mientras permanecían mínimas para la generación de código general (divergencia KL ~0.08 nats) y el seguimiento de instrucciones.
  • Esto confirma la naturaleza "quirúrgica" del olvido, evitando daños colaterales amplios a las capacidades del modelo.

• Estudios de Ablación:

  • Composición de Pérdida: Ni solo CE (refuerzo) ni solo NPO (supresión) fueron suficientes; ambos resultaron en tasas de alucinación >12%. El enfoque híbrido fue esencial.
  • Épocas Internas: Entrenar sin épocas internas (resampling de un solo paso) falló en reducir las alucinaciones efectivamente. Se requirió un mínimo de ~10 épocas internas para una consolidación estable.
  • Mutación de Prompts: La mutación adaptativa fue crítica para la generalización. Sin mutación, las tasas de alucinación se mantuvieron altas (~10.7%); con 6 mutaciones, las tasas cayeron a ~3.9%.

5. Significado y Afirmaciones

El artículo afirma que el Olvido Adaptativo proporciona un camino principiado y práctico para que los proveedores aborden las alucinaciones en LLMs desplegados entre ciclos de lanzamiento.

• Impacto en Seguridad: Al reducir las tasas de alucinación de paquetes en más del 80%, AU reduce directamente la superficie de ataque para los ataques de slopsquatting, una vulnerabilidad crítica en la cadena de suministro.
• Viabilidad Operativa: A diferencia del reentrenamiento completo, AU opera sobre datos sintéticos auto-generados, no requiere anotación humana y no depende de bases de conocimiento externas ni de sobrecarga de verificación en tiempo de inferencia.
• Generalizabilidad: Aunque los experimentos se centran en alucinaciones de paquetes de Python, los autores argumentan que el marco es agnóstico al ecosistema y aplicable a cualquier dominio con un oráculo determinista (por ejemplo, puntos finales de API, citas, afirmaciones históricas).
• Limitaciones: Los autores notan modestamente que el oráculo actual verifica la validez a nivel de cadena (existencia en el registro) en lugar de la corrección semántica en el código. También reconocen que el ajuste fino de parámetros completos a escalas mayores (más allá de 16B) requiere recursos más allá de su estudio actual, y que la generalización a LLMs de propósito general (no de código) sigue siendo una extensión abierta.

En resumen, el artículo presenta AU como un método que navega con éxito el compromiso entre suprimir comportamientos no deseados específicos y preservar la utilidad general del modelo, abordando una brecha donde los métodos previos de olvido fallaron debido a la naturaleza abierta de las alucinaciones.