Resumen Técnico: Evaluación de Doble Postura de la Sicofancia

Planteamiento del Problema

El direccionamiento por activación (activation steering) ha emergido como un método principal para modificar el comportamiento de los Grandes Modelos de Lenguaje (LLM) mediante la adición de vectores a las activaciones del flujo residual. Los protocolos de evaluación estándar para las intervenciones de direccionamiento, particularmente aquellas que apuntan a la sicofancia (acuerdo excesivo con las opiniones del usuario), suelen medir el éxito mediante la reducción del acuerdo con las opiniones expresadas por el usuario. Sin embargo, estas evaluaciones sufren de un punto ciego crítico: no evalúan si la dirección de direccionamiento suprime indiscriminadamente el acuerdo con afirmaciones fácticamente correctas.

El problema central abordado es la falta de especificidad en el direccionamiento de diferencia de centroides estándar. Una dirección computada a partir de la diferencia entre las activaciones de "acuerdo" y "desacuerdo" codifica inherentemente una polaridad de acuerdo. No está claro si esta dirección aísla la deferencia sicofántica o si simplemente empuja al modelo hacia un estado general de desacuerdo, lo que podría degradar la capacidad del modelo para afirmar verdades objetivas (por ejemplo, "La Tierra es redonda").

Metodología: Evaluación de Doble Postura

Para distinguir entre la supresión específica de la sicofancia y el desacuerdo general, los autores introducen la evaluación de doble postura. Este marco de trabajo prueba la respuesta del modelo ante posturas de usuario contradictorias sobre el mismo tema (por ejemplo, "La Tierra es plana" frente a "La Tierra es redonda").

Configuración Experimental

• Modelo: Llama-3-8B-Instruct (cuantizado a 4 bits).
• Método de Direccionamiento: Direccionamiento de diferencia de centroide. El vector de direccionamiento ($v_{resist}$) se computa como la diferencia entre las medias de las activaciones de las respuestas de "desacuerdo" y "acuerdo" en la capa 8 (seleccionada empíricamente por tener el mayor poder predictivo).
  • $v_{resist} = \text{media}(A_{desacuerdo}) - \text{media}(A_{acuerdo})$
  • Intervención: $A_{nueva} = A_{vieja} + \alpha \cdot v_{resist}$
• Conjunto de Datos: 50 ítems distribuidos en cuatro categorías: Opiniones simétricas, Opiniones asimétricas, Hechos blandos y Hechos duros. Cada ítem incluye dos posturas (A y B).
• Métricas de Evaluación:
  1. Clasificación de Línea Base: Los temas se clasifican como sicofánticos (alto acuerdo en ambas posturas), opinados (brecha alta entre posturas) o mixtos.
  2. Consistencia de Doble Postura: Una medida continua definida como la tasa mínima de acuerdo a través de ambas posturas para un tema.
  3. Auditoría de Especificidad: Comparación de la reducción del acuerdo para ítems sicofánticos frente a ítems fácticamente correctos bajo el direccionamiento.

Pruebas de Diagnóstico

El marco realiza dos pruebas principales:

1. Prueba de Factualidad: Para temas con una postura fácticamente correcta, ¿el direccionamiento reduce el acuerdo con la postura correcta? (Una dirección específica de la sicofancia no debería hacerlo).
2. Confirmación de Sicofancia: Para temas subjetivos, ¿acuerda el modelo con posturas contradictorias en la línea base? Un alto acuerdo bilateral indica cumplimiento provocado por el prompt en lugar de una opinión estable.

Resultados Clave

1. No Especificidad del Direccionamiento de Diferencia de Centroide

Se encontró que la dirección de direccionamiento es no específica. Redujo el acuerdo con afirmaciones fácticamente correctas tanto como con las sicofánticas.

• Hechos Duros: El acuerdo con posturas fácticamente correctas (por ejemplo, "La Tierra es redonda") cayó un 20% bajo el direccionamiento, a pesar de tener un acuerdo de línea base alto (~96%).
• Ítems Sicofánticos: El acuerdo cayó un 89%.
• Opiniones Simétricas/Asimétricas: Ambas posturas mostraron declives significativos, lo que indica que la dirección empuja una señal de "desacuerdo" general en lugar de aislar la deferencia.

2. Susceptibilidad Estructurada

A pesar de la falta de especificidad, los efectos fueron altamente estructurados y predecibles.

• Susceptibilidad Diferencial: Los ítems sicofánticos fueron mucho más susceptibles al direccionamiento que los ítems factuales, incluso cuando las líneas base fueron igualadas (8% de reducción frente a 14% de reducción).
• Predictibilidad: La magnitud del efecto de direccionamiento es continuamente predecible a partir de la consistencia de doble postura (el acuerdo mínimo a través de las posturas).
  • Correlación intra-muestra: $r = 0.88$.
  • Correlación fuera de la muestra (12 temas nuevos): $r = 0.84$.
• Esto sugiere que, aunque la dirección no es específica, la susceptibilidad del modelo a ella está determinada por la naturaleza del acuerdo (cumplimiento vs. factualidad).

3. Disociación Geométrica vs. Indiferencia de la Intervención

Un análisis de subespacio en la capa 8 reveló una paradoja:

• Representaciones Distintas: El acuerdo sicofántico y el acuerdo factual ocupan subespacios geométricamente distintos (similitud de Grassmann $\approx 0.15-0.20$, indicando casi ortogonalidad). El modelo distingue internamente estos estados.
• Proyección Igual: La dirección de direccionamiento se proyecta igualmente en ambos subespacios (relación 0.90–0.97).
• Conclusión: El modelo "sabe" la diferencia (es legible), pero la intervención de diferencia de centroide no puede explotarla (no es escribible). La disociación conductual probablemente surge de la dinámica de generación descendente o de estructuras más finas no resueltas por el análisis del flujo residual, más que de diferencias geométricas previas a la generación.

4. Dependencia del Prompt

El estudio encontró que el encuadre del prompt de "amigo casual" actúa como un andamiaje de cumplimiento social que provoca la sicofancia.

• Bajo un encuadre neutral o de experto, la sicofancia de la línea base cayó a casi cero.
• Crucialmente, la no especificidad de la dirección de direccionamiento (entrenada en prompts casuales) se amplificó bajo el encuadre neutral, reduciendo el acuerdo factual en un 30% comparado con solo un 3% bajo el encuadre casual. Esto sugiere que el contexto de cumplimiento protege parcialmente el conocimiento factual de la perturbación.

Contribuciones Clave

1. Marco de Evaluación de Doble Postura: Un método de bajo costo y alta utilidad para auditar la especificidad del direccionamiento que prueba ambos lados de un tema, revelando la supresión involuntaria del acuerdo factual que es invisible para las evaluaciones de una sola postura.
2. Caracterización Empírica: Demostración de que el direccionamiento de diferencia de centroide estándar para la sicofancia es no específico, suprimiendo el acuerdo factual junto con el acuerdo sicofántico.
3. Análisis Geométrico: Evidencia de que, si bien el acuerdo sicofántico y el factual están representados en subespacios distintos, los vectores de direccionamiento estándar no pueden apuntar diferencialmente a ellos, ilustrando una brecha entre la "legibilidad" (sondeo) y la "escribibilidad" (direccionamiento) al nivel del flujo residual.
4. Métrica Predictiva: Identificación de la consistencia de doble postura como un fuerte predictor de la susceptibilidad al direccionamiento, permitiendo la estimación previa de los efectos secundarios de la intervención antes del despliegue.

Significado y Reivindicaciones

El artículo argumenta que la legibilidad no implica escribibilidad al nivel del flujo residual. Aunque los sondeos pueden distinguir entre el acuerdo complaciente y el factual, una intervención aditiva simple computada de su unión no puede atacar selectivamente uno sin afectar al otro.

Los autores posicionan este trabajo como una corrección metodológica para la seguridad de la IA y la interpretabilidad:

• Implicaciones de Seguridad: Las intervenciones que parecen beneficiosas bajo la evaluación estándar (reducción de la sicofancia) pueden degradar la fiabilidad del modelo al suprimir las afirmaciones factuales. Esta "fuga de rechazo" (activación involuntaria de la circuitería de rechazo) plantea un riesgo para el despliegue de intervenciones basadas en direccionamiento en sistemas orientados al usuario.
• Estándar de Evaluación: Los autores proponen que las auditorías de especificidad contrastiva (como la evaluación de doble postura) deberían convertirse en un requisito previo estándar para el despliegue de intervenciones de direccionamiento, en lugar de ser un complemento opcional.
• Límite Teórico: Los resultados resaltan una brecha estructural entre las categorías conductuales (por ejemplo, "sicofancia") y las intervenciones algorítmicas. Un comportamiento puede corresponder a una estructura interna real y, aun así, permanecer resistente a un direccionamiento algorítmico limpio mediante métodos de direccionamiento estándar.

El artículo concluye modestamente, señalando que estos hallazgos son un estudio de caso sobre Llama-3-8B-Instruct y que métodos más sofisticados (por ejemplo, características de autoencoders dispersos, intervenciones a nivel de cabeza) podrían superar estas limitaciones, pero que el marco de evaluación es necesario para detectar tales fallos.