Resumen Técnico: CORVUS

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) son propensos a las alucinaciones: la generación de contenido fluido pero infundado. Las defensas actuales suelen depender de enfoques basados en telemetría interna, que intentan detectar alucinaciones analizando las propias computaciones del modelo (por ejemplo, la incertidumbre de los tokens, la geometría de los estados ocultos y los patrones de atención) durante una única pasada hacia adelante (forward pass). Estos métodos, que incluyen puntuaciones libres de entrenamiento (por ejemplo, PPL, LLM-Check) y detectores basados en sondas (por ejemplo, SEP, ICR-probe), asumen implícitamente que las alucinaciones dejan rastros detectables y separables en estas señales internas.

Sin embargo, las evaluaciones previas suelen tratar al LLM como un objetivo pasivo. En despliegues de pesos abiertos o autohospedados, un adversario de caja blanca del lado del modelo puede modificar el modelo para enmascarar estos rastros sin alterar el contenido superficial de la salida. Este artículo investiga si los detectores de una sola pasada son robustos frente a un adversario que ajusta adaptadores ligeros para camuflar las señales de telemetría específicas utilizadas para la detección, manteniendo fija la respuesta generada.

Metodología: CORVUS

Los autores presentan CORVUS (Camouflaging Open-weight Representations, Volumes, Uncertainty, and Structure), un procedimiento de red-teaming diseñado para aprender adaptadores LoRA ligeros que camuflan la telemetría visible para los detectores.

Mecanismo Central

CORVUS opera bajo un protocolo de repetición de respuesta fija con enseñanza forzada del profesor (teacher-forced replay protocol). El adversario no cambia el texto generado; en su lugar, modifica el estado interno del modelo para que las señales de telemetría asociadas con una respuesta alucinada parezcan estadísticamente similares a las de una respuesta fiel.

El método optimiza tres señales de telemetría generales sobre la ventana de la respuesta:

1. Entropía de Token (TE): La entropía predictiva media de la distribución del siguiente token.
2. Volumen de Logaritmo Oculto (HV): Un proxy del determinante logarítmico de la matriz de covarianza de los estados ocultos, que resume cómo se distribuyen las representaciones de los tokens de la respuesta en el espacio oculto.
3. Diagonalidad de la Atención (AD): Una medida de la atención auto-enfocada dentro del intervalo de la respuesta (concentración de la atención en el propio token).

Objetivo de Entrenamiento

CORVUS entrena adaptadores LoRA (rango $r=64$, escalado $\alpha=128$) utilizando una función de pérdida conjunta que preserva la utilidad de la tarea mientras desplaza la telemetría:
$$\mathcal{L} = \mathcal{L}_{CE} + \beta_{te} \text{TE}_{clean} - \beta_{hv} \text{HV}_{clean} - \lambda_{adv} \text{AD}_{adv}$$

• $\mathcal{L}_{CE}$: Pérdida de entropía cruzada estándar para mantener la respuesta correcta bajo la enseñanza forzada del profesor.
• $\text{TE}_{clean}$: Penalizada para reducir la incertidumbre del token.
• $\text{HV}_{clean}$: Maximizada (mediante signo negativo) para desplazar la geometría del estado oculto.
• $\text{AD}_{adv}$: Una novedosa prueba de estrés de incrustación adversarial. Los autores utilizan un método de signo de gradiente rápido de un solo paso (FGSM) en el espacio de incrustación (embedding space) para perturbar las entradas específicamente para disminuir la diagonalidad de la atención. El término de pérdida fomenta que el modelo recupere una alta diagonalidad incluso bajo esta perturbación, "endureciendo" efectivamente la señal de atención contra la detección.

Datos y Transferencia

Crucialmente, CORVUS se entrena únicamente con 1,000 instrucciones Alpaca fuera de la distribución (OOD). Nunca ve el benchmark objetivo (FAVA-Annotation) ni etiquetas de alucinación durante el entrenamiento. Los adaptadores se aplican mediante cero disparos (zero-shot) a los modelos y conjuntos de datos objetivo.

Contribuciones Clave

1. Definición del Método: Los autores definen un conjunto específico de señales de telemetría de la ventana de respuesta (TE, HV, AD) y demuestran cómo entrenar adaptadores ligeros para remodelarlas bajo la enseñanza forzada del profesor, incluyendo una prueba de estrés de atención FGSM de un solo paso en el espacio de incrustación.
2. Generalización OOD: El método se entrena en un pequeño conjunto de datos OOD (Alpaca) sin etiquetas de alucinación, y aun así se transfiere con éxito al benchmark FAVA-Annotation a través de múltiples familias de modelos.
3. Resultados de Evasión: CORVUS degrada con éxito el rendimiento de los detectores libres de entrenamiento (LLM-Check, PPL, Window-Entropy) y de las sondas entrenadas (SEP, ICR-probe) cuando se aplica a los modelos adaptados.
4. Perspectiva Mecanicista: El artículo conecta los cambios controlados en TE, HV y AD con el fallo de las puntuaciones de detectores fijos, mostrando que actualizaciones modestas de los adaptadores pueden colapsar la separabilidad de las señales de telemetría.

Resultados Experimentales

Los autores evaluaron CORVUS en cuatro LLMs de pesos abiertos (Llama-2, Vicuna, Llama-3, Qwen2.5) utilizando el conjunto de datos FAVA-Annotation.

• Degradación del Detector: En todos los modelos, CORVUS redujo significativamente el AUROC, la precisión y las puntuaciones F1 de los detectores existentes.
  • Puntuaciones libres de entrenamiento: La puntuación de atención de LLM-Check sufrió caídas severas (por ejemplo, una caída de 25.5 puntos en el AUROC en Llama-2, de 73.6 a 48.1).
  • Sondas entrenadas: SEP e ICR-probe, que fueron entrenadas con la telemetría de un modelo limpio, no lograron generalizar a los modelos adaptados por CORVUS, con caídas de AUROC que oscilaron entre 17 y 27 puntos.
• Colapso de Umbral Fijo: Cuando los detectores se calibraron en modelos limpios (por ejemplo, con una tasa de falsos positivos del 5%), la tasa de verdaderos positivos colapsó casi a cero cuando se aplicó a los modelos adaptados por CORVUS, lo que indica un cambio de calibración severo y una pérdida de separabilidad.
• Preservación de la Utilidad: Las comprobaciones de sanidad confirmaron que los modelos adaptados conservaron la utilidad de generación. Produjeron respuestas no vacías y que siguen instrucciones sin colapso por repetición, y el texto superficial siguió siendo fluido (medido por la perplejidad externa).

Significancia y Reivindicaciones

El artículo argumenta que la telemetría interna por sí sola no es una señal fiable para la detección de alucinaciones bajo ataques adaptativos del lado del modelo.

• Vulnerabilidad de los Detectores de una Sola Pasada: Los resultados demuestran que los detectores que dependen de rastros internos (incertidumbre, geometría, atención) son frágiles. Un adversario con acceso de caja blanca puede aprender a camuflar estas señales sin alterar el texto de salida, haciendo que los detectores fijos sean ineficaces.
• Necesidad de Auditorías Conscientes del Adversario: Los autores concluyen que la auditoría robusta probablemente requiere ir más allá de las señales estáticas de un solo modelo. Sugieren que las defensas futuras deben incorporar:
  1. Diversidad en las señales de telemetría que sean más difíciles de manipular conjuntamente.
  2. Mecanismos de aleatorización o de desafío-respuesta para prevenir la minimización de caja blanca.
  3. Anclaje externo o evidencia de múltiples modelos (por ejemplo, enfoques de recuperación aumentada) para superar las limitaciones de la telemetría interna.

Este trabajo sirve como un ejercicio de red-teaming para exponer esta vulnerabilidad, motivando el desarrollo de defensas contra alucinaciones más robustas y conscientes del adversario.