Resumen Técnico: PRISM – Recuperación de Conjuntos de Instrucciones a partir de Activaciones de Modelos de Lenguaje

1. Declaración del Problema: Recuperación de Conjuntos de Instrucciones (ISR)

A medida que los Modelos de Lenguaje de Gran Escala (LLMs) se despliegan cada vez más como agentes autónomos, el monitoreo fiable requiere algo más que observar los tokens de salida; requiere comprender los objetivos internos que dirigen el comportamiento. El monitoreo actual enfrenta desafíos cuando los modelos infieren subobjetivos no deseados, siguen pistas contextuales o se ven influenciados por inyecciones de prompts y objetivos ocultos.

Aunque los métodos recientes de "activación a lenguaje" (por ejemplo, Patchscopes, LatentQA, Activation Oracles) demuestran que los estados ocultos pueden revelar información en lenguaje natural, no son adecuados para la Recuperación de Conjuntos de Instrucciones (ISR). Los enfoques existentes suelen responder preguntas arbitrarias o producir resúmenes de alto nivel únicos. No logran recuperar el conjunto completo de instrucciones, restricciones, prohibiciones y subobjetivos simultáneos que están activos en entornos agénticos. En consecuencia, a menudo solo recuperan una fracción de las instrucciones activas, confunden distintas restricciones o alucinan objetivos que no están presentes en el contexto.

El artículo formaliza la ISR como el problema de aprender un intérprete $\phi$ que, dado un snapshot de activación $H_\ell$ de un modelo objetivo congelado $M$, produce una lista predicha $\hat{I}$ que maximiza la cobertura (recuperación de las instrucciones reales) mientras minimiza la alucinación (predicción de instrucciones no sustentadas).

2. Metodología: PRISM

Los autores presentan PRISM, un intérprete condicionado por activación diseñado específicamente para la recuperación fiel de conjuntos de instrucciones.

Arquitectura

PRISM está diseñado para un despliegue ligero. En lugar de cargar un LLM intérprete separado, reutiliza los pesos base congelados del modelo objetivo $M$ (específicamente Qwen3.5-9B en los experimentos).

• Entrada: Un snapshot de las activaciones del flujo residual $H_\ell$ de una capa $\ell$ específica (por ejemplo, la capa 16) sobre una ventana fija de tokens generados (por ejemplo, los últimos 128 tokens).
• Proyección: Una proyección lineal aprendida mapea estos vectores de activación al espacio de embeddings de entrada del modelo.
• Decodificación: Las activaciones proyectadas sirven como un "prefijo suave" (soft prefix) introducido en el modelo objetivo. El modelo luego decodifica de forma autorregresiva una lista de viñetas en lenguaje natural de las instrucciones activas.
• Parámetros: Solo se entrenan la capa de proyección y los adaptadores LoRA; los pesos del modelo base permanecen congelados.

Estrategia de Entrenamiento

PRISM se entrena en dos etapas para abordar las limitaciones de la pérdida de entropía cruzada estándar, la cual penaliza las discrepancias en la forma superficial y no logra distinguir entre instrucciones omitidas y alucinaciones.

1. Preentrenamiento Supervisado (SFT): El modelo se entrena para mapear snapshots de activación a listas de instrucciones reales utilizando la entropía cruzada de siguiente token. Esto establece un mapeo base de activación a lista.
2. Aprendizaje por Refuerzo Guiado por Juez (GRPO): Para optimizar la fidelidad a nivel de conjunto, los autores emplean la Optimización de Política Relativa de Grupo (GRPO).
   • Mecanismo de Juez: Un LLM juez separado evalúa las listas de instrucciones candidatas frente a la lista de referencia real. Determina qué instrucciones de referencia están cubiertas y qué viñetas predichas no están sustentadas (alucinadas). El prompt del sistema del juez está calibrado contra anotaciones humanas utilizando el coeficiente $\kappa$ de Cohen.
   • Función de Recompensa: La recompensa $r$ es un escalar derivado de las métricas de cobertura ($Cvg$) y alucinación ($Hall$):
     $$r = w_{inst} \cdot Cvg(\hat{I}, I) - w_{halluc} \cdot Hall(\hat{I}, I) - P_{len}$$
     Donde $P_{len}$ es una penalización de longitud de dos lados para evitar el "reward hacking" mediante reportes excesivamente largos o colapsados.
   • Optimización: La política se actualiza para maximizar la ventaja relativa del grupo, optimizando directamente para una alta cobertura y baja alucinación en lugar de la coincidencia a nivel de token.

3. Contribuciones Clave

1. Formalización de la ISR: El artículo define la Recuperación de Conjuntos de Instrucciones como un problema distinto de la interpretación de activación general, centrándose en la recuperación del conjunto completo de restricciones y subobjetivos operativos.
2. Marco PRISM: Un intérprete condicionado por activación que decodifica estados ocultos en una lista de viñetas fiel de las instrucciones activas sin depender de la inspección de tokens superficiales o del auto-reporte del modelo.
   ం
3. GRPO Guiado por Juez: Un objetivo de entrenamiento novedoso que utiliza un juez LLM para proporcionar retroalimentación semántica, optimizando directamente el recuerdo a nivel de instrucción y penalizando las alucinaciones.
4. Evaluación Calibrada: Los autores calibran su juez LLM contra anotaciones humanas y liberan sus prompts para apoyar la evaluación reproducible de sistemas de recuperación de conjuntos de instrucciones.
5. Liberación de Recursos: El artículo se compromete a liberar el código fuente, los datos de entrenamiento y los conjuntos de datos de evaluación relevantes para la seguridad (que cubren inyección de prompts y objetivos ocultos) para facilitar la investigación futura.

4. Resultados Experimentales

La evaluación utiliza un corpus de prueba de 1,000 ejemplos distribuidos en cuatro entornos: Benigno (BN), Restricciones de Comportamiento (BC), Objetivos Ocultos (HO) y Prompts Adversarios (AP). El modelo objetivo es Qwen3.5-9B.

• Rendimiento General: PRISM (con RL) alcanza la mayor recompensa promedio (0.736) y cobertura (0.745) en todos los entornos, superando significativamente al baseline más fuerte que no es PRISM (Activation Oracles, recompensa 0.532).
• Recuperación Relevante para la Seguridad: En entornos adversarios (HO y AP), PRISM demuestra una capacidad superior para recuperar instrucciones inyectadas o encubiertas. Específicamente, en el subconjunto de Prompts Adversarios, la cobertura mejoró de 0.520 (PRISM sin RL) a 0.652.
• Control de Alucinaciones: PRISM mantiene una tasa de alucinación baja (0.014). Aunque algunos baselines muestran tasas de alucinación más bajas, el artículo señala que esto se debe a menudo a que colapsan los prompts en resúmenes genéricos, perdiendo muchas instrucciones activas.
• Ablación: La adición de la etapa de RL guiada por el juez mejora consistentemente el rendimiento en todos los dominios, particularmente en el entorno de Prompts Adversarios, confirmando que el objetivo de RL optimiza con éxito las propiedades a nivel de conjunto en lugar de solo la fluidez.

5. Significado y Reivindicaciones

El artículo sostiene que PRISM demuestra que las activaciones codifican información de instrucciones recuperable, lo que sugiere que el monitoreo basado en activaciones es una vía viable hacia la supervisión transparente de los agentes de LLM.

• Capacidad de Monitoreo: El trabajo proporciona un método para inspeccionar el "conjunto de instrucciones operativo" interno de un agente, revelando no solo qué está haciendo el modelo, sino por qué (es decir, qué restricciones o metas específicas están impulsando el comportamiento).
• Implicaciones de Seguridad: Al recuperar con éxito objetivos ocultos e inyecciones de prompts que otros métodos pasan por alto, PRISM ofrece una herramienta para auditar agentes en escenarios de alto riesgo donde los prompts de entrada por sí solos podrían no revelar un direccionamiento adversario.
• Limitaciones y Alcance: Los autores son modestos en sus afirmaciones, señalando que:
  • Los resultados son específicos para la familia de modelos Qwen3.5-9B, la capa 16 y una ventana de 128 tokens; la transferibilidad a otros modelos o contextos más largos no ha sido probada.
  • La evaluación depende de etiquetas generadas por un oráculo y puntuaciones basadas en jueces, las cuales, aunque calibradas, no son la verdad absoluta.
  • PRISM es un método de monitoreo, no una intervención de seguridad; recuperar una instrucción no dicta automáticamente si se debe bloquear o modificar el comportamiento.
  • El sistema no está destinado a decisiones punitivas de alto riesgo sin revisión humana debido al riesgo de omitir instrucciones o de alucinaciones.

El artículo concluye que, si bien PRISM no es una solución de seguridad completa, representa un paso significativo hacia la comprensión y auditoría de los objetivos internos de los agentes de LLM desplegados.