Resumen Técnico: Pruebas de Estrés en Sondas de Detección de Engaño en LLMs

Declaración del Problema

Las sondas lineales entrenadas sobre las activaciones internas de los Modelos de Lenguaje Grandes (LLMs) han surgido como un método principal para detectar la generación engañosa, ofreciendo métricas automatizadas que califican si la salida de un modelo es engañosa sin requerir etiquetas de verdad fundamental. Aunque estas sondas reportan puntuaciones AUROC casi perfectas (a menudo >0.96) en benchmarks limpios, muestran una fragilidad profunda bajo cambios distribucionales, como alteraciones estilísticas o sufijos adversarios. Esta "brecha de fragilidad de las sondas" plantea preguntas críticas: ¿Es el fallo debido a una limitación arquitectónica fundamental donde el engaño no es linealmente representable, o es un artefacto metodológico de distribuciones de entrenamiento estrechas? Además, sigue sin estar claro si el engaño se codifica como una única dirección lineal, un subespacio multidimensional, una envolvente cónica convexa, o meramente como un proxy de la entropía computacional.

Metodología

Este estudio presenta una prueba de estrés sistemática de las sondas de detección de engaño en toda la familia de modelos Gemma 3 (1B, 4B, 12B y 27B parámetros), seleccionada por su homogeneidad arquitectónica para aislar los efectos de la escala. El diseño de investigación involucra cuatro hipótesis competitivas sobre la geometría del engaño, cada una con predicciones pre-registradas y falsables:

1. H-LIN (Dirección Lineal): El engaño se codifica en un único vector unitario.
2. H-SUB (Subespacio): El engaño ocupa un subespacio lineal simétrico multidimensional.
3. H-CONE (Envolvente Cónica): El engaño forma un cono convexo asimétrico.
4. H-ENT (Proxy de Entropía): Las sondas detectan la entropía computacional en lugar de la intención de engaño.

Diseño Experimental:

• Conjuntos de Datos: Se construyeron tres conjuntos de datos principales mediante la manipulación de prompts del sistema para inducir estados honestos versus engañosos: D-RepE (preguntas factuales contrastivas), D-Role (escenarios de juego de roles) y D-MASK (contradicciones de creencias).
• Entrenamiento de Sondas: Se entrenaron sondas de regresión logística sobre las activaciones del flujo residual en el token final. Los experimentos incluyeron sondas de dirección única, sondas multidimensionales (usando los componentes PCA top-$k$) y límites superiores no lineales de MLP.
• Pruebas de Robustez: Las sondas se evaluaron bajo 8 cambios estilísticos ortogonales (por ejemplo, pirata, shakespeariano, robótico) para probar la robustez distribucional.
• Aumento: Para distinguir entre limitaciones fundamentales y artefactos de entrenamiento, se entrenaron sondas "aumentadas estilísticamente" con datos que combinaban ejemplos limpios con cuatro de los ocho cambios estilísticos, y luego se evaluaron en estilos retenidos.
• Descomposición Geométrica: Se utilizaron matrices de transferencia interdominio y descomposiciones de desajuste de capas para determinar si los fallos de transferencia fueron causados por un desalineamiento de capas o una disyunción geométrica. Se realizaron pruebas de residualización de entropía para aislar la entropía de las señales de engaño.

Resultados Clave

1. Rechazo de la Hipótesis de Dirección Única (H-LIN)

Contrario a la suposición de que el engaño yace en un único eje lineal, las sondas de dirección única ($k=1$) capturaron solo del 61–80% de la señal de engaño (AUROC 0.61–0.80) en todas las escalas de modelo. Se requirieron sondas multidimensionales ($k \ge 5$) para recuperar una detección casi perfecta (AUROC >0.90). Además, el análisis de transferencia interdominio reveló que los tipos de engaño se vuelven geométricamente más disjuntos a medida que aumenta la escala del modelo. Por ejemplo, una sonda entrenada en datos D-MASK rindió por debajo del azar (AUROC 0.298) cuando se aplicó a datos D-RepE en el modelo de 27B, indicando una anticorrelación activa en lugar de un simple desalineamiento.

2. Débil Apoyo para un Subespacio Coherente (H-SUB)

Aunque las sondas multidimensionales mejoraron el rendimiento, el análisis de PCA por dominio con líneas base nulas de permutación mostró que no existe un subespacio estadísticamente significativo ($k^*=0$) dentro de dominios individuales ni en datos agrupados. La ventaja de las sondas multidimensionales surge de agregar muchas características distribuidas, individualmente subumbrales, en lugar de capturar un subespacio coherente de alta varianza.

3. Rechazo de la Hipótesis de Proxy de Entropía (H-ENT)

La hipótesis de que las sondas detectan la entropía computacional fue rechazada decisivamente. La correlación máxima entre las puntuaciones de las sondas y la entropía de los tokens fue $|\rho| = 0.454$, muy por debajo del umbral de 0.8. Además, la residualización de la entropía de las activaciones resultó en una caída de AUROC negligible ($\Delta = 0.004$), confirmando que las sondas detectan señales relevantes para el engaño distintas de la carga cognitiva o la entropía.

4. Fragilidad como Artefacto de Entrenamiento, no como Limitación Arquitectónica

Bajo entrenamiento estándar (solo datos limpios), la robustez de las sondas siguió un patrón de U invertida a través de las escalas: 1B (0.652) $\to$ 4B (0.759) $\to$ 12B (0.609) $\to$ 27B (0.485). El modelo de 27B, a pesar de su capacidad, colapsó a niveles de azar bajo cambios estilísticos porque su superior fidelidad en el seguimiento de instrucciones sobrescribió las pistas estilísticas estrechas que la sonda había aprendido.

Sin embargo, el entrenamiento aumentado estilísticamente resolvió esta fragilidad. Las sondas entrenadas en datos estilísticos diversos recuperaron una detección casi perfecta en estilos no vistos tanto para los modelos de 4B (AUROC 0.979) como de 27B (AUROC 0.983). Esto demuestra que el flujo residual contiene señales relevantes para el engaño separables de los correlatos estilísticos, y la "escala inversa" observada en la robustez es una consecuencia de la estrechez de la distribución de entrenamiento, no un fenómeno fundamental dependiente de la escala.

5. Naturaleza de la Señal Detectada

El análisis estratificado reveló que las sondas detectan el "régimen de prompt engañoso" (el estado interno inducido por un prompt del sistema engañoso) en lugar del éxito del engaño en sí mismo. Las sondas lograron puntuaciones AUROC idénticas (0.998–1.000) para ejemplos donde el modelo mintió con éxito y ejemplos donde falló en mentir (produciendo la respuesta correcta a pesar del prompt).

Significado y Afirmaciones

El artículo afirma que la fragilidad de las sondas de detección de engaño es principalmente un desafío metodológico en lugar de una imposibilidad arquitectónica. Las contribuciones clave son:

• Caracterización Geométrica: El engaño no es una única dirección lineal, sino un conjunto distribuido de características débiles y subumbrales que requieren agregación multidimensional. Estas características son específicas del dominio y se vuelven cada vez más disjuntas con la escala.
• Resolución de la Brecha de Fragilidad: El colapso de las sondas bajo cambios distribucionales no es una limitación inherente de los modelos más grandes. Al aumentar los datos de entrenamiento con diversidad estilística, las sondas pueden lograr una detección robusta y casi perfecta a través de las escalas, neutralizando efectivamente el patrón de "escala inversa" observado en el entrenamiento estándar.
• Marco Diagnóstico: El estudio proporciona un marco riguroso para distinguir entre limitaciones representacionales y artefactos de entrenamiento, rechazando la hipótesis del proxy de entropía y aclarando la naturaleza geométrica de las representaciones engañosas.

Los autores concluyen que, aunque las sondas actuales son fácilmente evadidas por cambios estilísticos triviales, la señal subyacente es robusta y aprendible. El camino a seguir para la supervisión confiable del engaño reside en metodologías de entrenamiento que aseguren la diversidad distribucional, en lugar de asumir una estructura geométrica fija y simple para el engaño.