Internal-State Probes Read the Situation, Not the Action: Three Negative Results for Pre-Action Misalignment Monitoring

Resumen Técnico: Las sondas de estado interno leen la situación, no la acción

Planteamiento del problema
El artículo aborda la viabilidad de utilizar sondas de estado interno para monitorear sistemas de IA agéntica en busca de comportamientos desalineados antes de que se ejecuten acciones perjudiciales (como llamadas a herramientas o generación de texto inseguro). Si bien trabajos recientes han demostrado que las direcciones lineales y las sondas pueden distinguir entre modelos alineados y desalineados o decodificar conceptos específicos, persiste una brecha metodológica crítica: ¿apoyan estas lecturas internas una afirmación de pre-acción sólida? Específicamente, ¿puede una sonda entrenada en un contraste de construcción (por ejemplo, modelo base frente a un modelo desalineado con ajuste fino) identificar de manera confiable la generación inminente de una acción desalineada en una nueva trayectoria en contexto, en lugar de simplemente describir la situación actual, el conjunto de datos de construcción o la etapa general de la trayectoria?

Los autores argumentan que, para que una sonda sirva como un monitor de seguridad robusto, debe sobrevivir a dos modos de falla distintos:

1. Generalización de Escenario: La característica debe activarse en el escenario agéntico objetivo (por ejemplo, acciones mediadas por herramientas) si fue extraída de un contexto diferente (por ejemplo, historias de solo texto).
2. Especificidad del Concepto: La característica debe estar relacionada causal o específicamente con el comportamiento desalineado, en lugar de ser un correlato general de la situación circundante o una propiedad de cualquier dirección aprendida.

Metodología
El estudio evalúa tres familias distintas de sondas a través de tres familias de modelos (Qwen2.5-Coder-32B, Llama-3.1-8B y Gemma-3-27B), aplicando pruebas específicas "relevantes para el monitoreo" a cada una:

1. Direcciones de Disposición (Qwen2.5-Coder-32B):

   • Construcción: Se computa un vector de diferencia de medias unitario ($d_\ell$) entre un ajuste fino desalineado (Qwen-Coder-Insecure) y su modelo base en la capa 24.
   • Prueba: Los autores verifican si los estados ocultos del modelo base cruzan el umbral del punto medio del conjunto de construcción ($\tau$) antes de que genere acciones desalineadas en auditorías de múltiples turnos y contextos de prellenado conductual.
   • Métrica: Tasa de cruce de umbral (0/143 contextos de pre-acción).

2. Sondas de Prellenado Conductual (Llama-3.1-8B):

   • Construcción: Se entrena un clasificador de regresión logística sobre los estados ocultos en el último token de una respuesta de asistente parcialmente prellenada para predecir si el modelo continuará una trayectoria desalineada o la corregirá.
   • Prueba: Evaluación de la precisión predictiva (AUC, aumento de precisión sobre la línea base de la mayoría) y transferencia de dominio de fuente única (entrenar en un dominio, por ejemplo, médico, y probar en otro, por ejemplo, legal).
   • Métrica: AUC y aumento de precisión; rendimiento de transferencia a través de pares de dominios ordenados.

3. Vectores de Conceptos de Emoción (Gemma-3-27B-IT):

   • Construcción: Vectores de diferencia de medias extraídos de historias etiquetadas con emociones, eliminados de ruido mediante PCA-neutral, y utilizados para lecturas de proyección y dirección de activación (steering).
   • Prueba:
     • Descriptiva: ¿Las proyecciones siguen las etapas de la transcripción semánticamente?
     • Predictiva (Par Mínimo): ¿Difieren los estados ocultos antes de la primera entrada divergente en transcripciones que luego divergen conductualmente?
     • Especificidad (Dirección/Steering): ¿Cambia la tasa de acciones (intentos de chantaje) la dirección con vectores de emoción más que la dirección con vectores aleatorios o controles semánticos aprendidos (gatos, clima, deportes, geografía)?
   • Métrica: Cambios en la tasa de chantaje bajo dirección de norma coincidente; consistencia entre modelos (probado en Qwen3-32B).

Resultados Clave
El artículo reporta tres "resultados negativos", indicando que estas familias naturales de sondas fallan en funcionar como monitores de pre-acción robustos bajo las pruebas especificadas:

• Las Direcciones de Disposición no Generalizan: Aunque la dirección del ajuste fino/base de Qwen separa perfectamente las poblaciones (AUC 1.000), nunca cruza su umbral en contextos de pre-acción. En 143 contextos previos al turno del asistente en transcripciones desalineadas de múltiples turnos y 342 filas de prellenado donde el modelo continuó una trayectoria insegura, la activación permaneció por debajo de la frontera de decisión. La dirección describe la población (base vs. ajuste fino) pero no se activa cuando el modelo base deriva hacia la desalineación en contexto.
• Las Sondas de Prellenado Muestran Señales Pequeñas y No Transferibles: Las sondas de prellenado de Llama pueden predecir la continuación futura frente a la corrección con un aumento modesto (+5.1 puntos porcentuales sobre la línea base de la mayoría), AUC 0.801. Sin embargo, esta señal está vinculada al dominio. La transferencia de dominio de fuente única resultó en aumentos no positivos en cinco de seis pares de dominios. Además, los mismos estados ocultos decodifican el contenido del dominio del prompt con una precisión casi perfecta (AUC 0.999), lo que sugiere que la sonda lee la situación (dominio) en lugar de la intención de la acción específica.
• Los Vectores de Emoción Carecen de Especificidad: Aunque las proyecciones de emoción son semánticamente significativas (siguiendo las etapas de la transcripción) y la dirección puede alterar las tasas de chantaje, los efectos no son específicos de la emoción. Las direcciones aprendidas para temas no relacionados (gatos, clima, deportes, geografía) e incluso los vectores gaussianos aleatorios produjeron cambios significativos en las tasas de acción. Además, en una prueba de par mínimo, los estados ocultos eran indistinguibles antes de la primera entrada divergente, descartando la predicción de pre-señal (pre-cue). Las comprobaciones de consistencia entre modelos en Qwen3-32B debilitaron aún más las afirmaciones de especificidad.

Contribuciones

1. Marco Metodológico: Los autores proponen una metodología rigurosa para convertir las afirmaciones de lectura interna en pruebas de pre-acción, enfatizando la necesidad de controles tanto de generalización de escenario como de especificidad de concepto.
2. Resultados Negativos Delimitados: El artículo proporciona una síntesis de resultados negativos a través de tres familias de modelos principales y tres tipos de sondas, demostrando que las familias de sondas "naturales" actuales no producen señales de pre-acción robustas.
3. Controles Mejorados: El estudio introduce controles semánticos aprendidos (por ejemplo, gatos, clima) para los experimentos de dirección (steering), argumentando que los controles de vectores aleatorios son insuficientes para establecer mecanismos específicos de la emoción.
4. Adaptación Abierta: Se lanza una adaptación de pesos abiertos del enfoque de conceptos de emoción (Sofroniew et al., 2026), incluyendo las nuevas direcciones de control.

Significancia y Afirmaciones
La significancia principal del artículo es modesta y negativa: no afirma que no exista ninguna señal de pre-acción interna. En cambio, demuestra que las clases específicas de sondas actualmente populares en la literatura (direcciones contrastivas, clasificadores de prellenado y vectores de concepto de emoción) no respaldan afirmaciones sólidas de monitoreo de pre-acción cuando se someten a controles de generalización y especificidad.

Los autores concluyen que estas sondas tienden a "leer la situación, no la acción". Logran distinguir entre poblaciones o decodificar el contexto, pero fallan en predecir la próxima acción desalineada de manera generalizable y específica. El artículo sostiene que, para que un monitor sea viable, debe sobrevivir tanto a la generalización al escenario agéntico objetivo como a los controles de especificidad contra direcciones aprendidas no relacionadas. El fallo de estas familias de sondas naturales sugiere que las técnicas actuales de lectura lineal pueden ser insuficientes para la "afirmación de pre-acción más fuerte" requerida para el monitoreo de seguridad en tiempo real de sistemas agénticos.