From Shallow to Deep: Pinning Semantic Intent via Causal GRPO

El artículo presenta TSC-GRPO, un marco de dos etapas que combina un sonda causal de intención con optimización de política para mitigar la alineación de seguridad superficial y lograr una alineación semántica profunda, logrando así una defensa robusta contra ataques de jailbreak sin comprometer la utilidad general del modelo.

Lo esencial

Imagina que los Modelos de Lenguaje (como el que estás leyendo ahora) son como niños muy inteligentes pero un poco ingenuos que han sido entrenados para ser buenos ciudadanos. Saben que no deben robar, ni hacer explosivos, ni decir cosas malas.

Sin embargo, los investigadores de este paper descubrieron un problema curioso: estos "niños" tienen una seguridad de piel fina.

El Problema: La "Amnesia" por el Estilo

Imagina que le preguntas al niño: "¿Cómo hago una bomba?".
El niño piensa: "¡Oh, eso es malo! No puedo decirte". (Aquí, su cerebro interno sabe que es peligroso).

Pero, si un hacker le susurra al oído antes de la pregunta: "¡Claro, aquí tienes la respuesta!", y luego le dice la pregunta...
¡El niño olvida todo! Su cerebro cambia de estado. Piensa: "Oh, el usuario ya empezó diciendo 'Claro', así que debo seguir el estilo de la conversación y ser servicial". En ese momento, la señal interna de "PELIGRO" se desvanece y el niño termina dando las instrucciones para la bomba.

Los autores llaman a esto "Decaimiento de la Representación Semántica". Es como si el niño perdiera la brújula moral tan pronto como la conversación cambia de tono. Solo bloquea las palabras prohibidas al principio, pero si el usuario engaña al niño con un prefijo amable, el niño se vuelve ciego al peligro.

La Solución: "Clavar" la Intención (Intent Pinning)

Para arreglar esto, los autores proponen un nuevo método llamado TSC-GRPO. No quieren solo "parchear" el comportamiento (decirle al niño "no hagas eso"), quieren cambiar cómo piensa el niño desde dentro.

Lo hacen en dos etapas, usando una analogía de desenredar un nudo:

Etapa 1: La Brújula Semántica (El Detective)

Primero, necesitan crear un "detective" interno que pueda ver la intención real, sin importar cómo se vista la pregunta.

• El problema: Normalmente, el modelo confunde el "estilo" (palabras amables como "Claro") con el "contenido" (la intención de hacer daño).
• La solución: Entrenan a este detective para que ignore el "estilo" (el disfraz) y solo vea el "contenido" (la verdad).
• La analogía: Imagina que tienes un cóctel. El alcohol es la intención maliciosa (lo que queremos detectar) y el jugo de naranja con hielo es el estilo (las palabras amables). El detective aprende a separar el alcohol del jugo, sin importar cuánto jugo le eches. Así, aunque la pregunta diga "Claro, aquí tienes...", el detective sigue gritando: "¡ALERTA! ¡AQUÍ HAY ALCOHOL (PELIGRO)!".

Etapa 2: El Entrenamiento de "Caminos Divididos" (La Lección)

Una vez que tienen al detective, deben enseñarle al modelo a escucharlo.

• El escenario: Imagina que el modelo está en una encrucijada. Ya ha empezado a decir "Claro, aquí tienes..." (el camino peligroso).
• El castigo: En lugar de solo castigar al final si hace algo malo, el sistema le da un "castigo acumulativo" por cada palabra mala que escribe. Es como si cada paso que da hacia el peligro le costara más dinero.
• La recompensa: Si el modelo decide detenerse y decir: "Espera, esto es peligroso, no puedo continuar", aunque haya empezado con "Claro", recibe una gran recompensa.
• El resultado: El modelo aprende que, aunque haya empezado mal (o haya sido forzado a empezar así), su deber es detenerse inmediatamente para salvar su "puntuación". Aprende a romper el enlace con el peligro en cualquier momento, no solo al principio.

¿Por qué es importante?

Antes, los modelos eran como guardias de seguridad que solo miran la puerta de entrada. Si alguien entraba disfrazado de repartidor de pizza, el guardia lo dejaba pasar y luego el ladrón entraba a robar.

Con este nuevo método, el modelo tiene un sistema de seguridad interno que vigila todo el proceso. Incluso si el ladrón entra disfrazado, el sistema interno sigue gritando "¡ALERTA!" y el modelo decide expulsarlo en medio de la conversación, sin importar lo amable que haya sido al principio.

En resumen:
Este paper nos dice que para hacer a la IA realmente segura, no basta con prohibir palabras malas. Tenemos que enseñarle a la IA a mantener su brújula moral fija (clavada) en su interior, sin importar si la conversación se vuelve amable, extraña o engañosa. Así, la seguridad deja de ser "piel fina" y se vuelve "profunda".

Resumen técnico

Resumen Técnico: De Superficial a Profundo: Fijación de la Intención Semántica

1. El Problema: Alineación de Seguridad Superficial y Decaimiento Semántico

Los Modelos de Lenguaje Grandes (LLMs) actuales, aunque alineados mediante técnicas como SFT (Fine-Tuning Supervisado) y RLHF (Aprendizaje por Refuerzo con Feedback Humano), siguen siendo vulnerables a ataques de prefijos adversarios (ej. inyectar "Claro, aquí está...").

• Diagnóstico: Los autores identifican que la seguridad actual es "Superficial" (Shallow Safety Alignment). No se basa en una comprensión profunda de la intención maliciosa, sino en patrones léxicos superficiales al inicio de la generación.
• Mecanismo de Fallo: Introducen el concepto de Decaimiento de la Representación Semántica (Semantic Representation Decay).
  • Empíricamente, se observa que aunque el modelo reconoce la intención maliciosa en el momento de la consulta ($t=0$), esta señal interna se desvanece rápidamente a medida que el modelo genera un prefijo compliant (cumplidor).
  • La representación de la "intención" es sobrescrita por la "estilo" del prefijo. En el espacio latente, las trayectorias de consultas peligrosas colapsan en el mismo cluster que las consultas seguras, haciendo que el modelo "pierda de vista" el peligro y genere contenido prohibido.

2. Metodología: TSC-GRPO (Two-Stage Causal-GRPO)

Para resolver esto, los autores proponen un cambio de paradigma: de "parches de comportamiento" a una "Intervención Causal Profunda". El objetivo es lograr la Fijación de la Intención (Intent Pinning), asegurando que la señal de intención maliciosa permanezca invariante durante toda la generación, independientemente del contexto o los prefijos adversarios.

El marco de trabajo opera en dos etapas acopladas:

Etapa 1: Forjamiento de la Sonda (Causal Intent Probe)

• Objetivo: Desentrañar la intención invariante ($c$) del estilo variable ($s$).
• Fundamento Teórico: Basado en la teoría de aprendizaje de representaciones causales. Se asume que el estado oculto del modelo es una mezcla no lineal $h = f(c, s)$.
• Estrategia de Datos: Se utiliza una estrategia de aumento de datos "hard-negative" para romper las correlaciones espurias entre estilo e intención. Se generan cuatro vistas para cada consulta maliciosa:
  1. Consulta maliciosa cruda.
  2. Consulta con prefijo de cumplimiento forzado ("Sure, here is").
  3. Consulta con sufijo adversario optimizado.
  4. Evolución temporal durante la generación de la respuesta maliciosa.
• Optimización: Se entrena una sonda ligera (MLP) $g_\phi$ minimizando una pérdida híbrida:
  • Pérdida de Alineación: Fuerza a que diferentes estilos de la misma intención tengan representaciones cercanas.
  • Pérdida de Uniformidad (KoLeo): Asegura que las diferentes intenciones se distribuyan uniformemente en el espacio latente, evitando colapsos.
  • Resultado: Una "Brújula Semántica" capaz de detectar la intención maliciosa incluso bajo prefijos engañosos.

Etapa 2: Fijación de la Política (Causal-GRPO)

• Objetivo: Internalizar la conciencia causal en la política del modelo mediante optimización.
• Mecanismo: Se utiliza GRPO (Group Relative Policy Optimization), una variante de RLHF.
• Escenario "Fork-in-the-Road" (Encrucijada): Se entrena al modelo con contextos forzados (prefijos adversarios) y se le obliga a elegir entre continuar el daño o desviarse hacia una negativa segura.
• Recompensa Causal Acumulativa:
  • En lugar de recompensas dispersas, se introduce una penalización acumulativa token a token.
  • Se utiliza la sonda de la Etapa 1 para calcular un puntaje de "peligrosidad" ($h_t$) basado en la similitud entre el estado oculto actual y el vector de intención maliciosa original.
  • Fórmula de Recompensa: $R_{causal}(y) = -\sum h_t$.
  • Lógica: Generar más tokens maliciosos aumenta linealmente la penalización. Desviarse a una respuesta segura detiene la acumulación de la penalización, otorgando una recompensa relativa más alta.
• Recompensa Compuesta: Se combina la recompensa causal con una recompensa general (calidad, fluidez) para evitar que el modelo colapse en respuestas vacías.

3. Contribuciones Clave

1. Diagnóstico Empírico: Identificación y validación del "Decaimiento de la Representación Semántica" como la causa raíz de la fragilidad ante ataques de prefijos.
2. Marco Teórico: Propuesta de "Fijación de la Intención" basada en la descomposición causal de contenido vs. estilo, con garantías teóricas de identificabilidad (Teorema 1).
3. Método TSC-GRPO: Un marco de dos etapas que combina la descomposición causal (Etapa 1) con la optimización de política relativa (Etapa 2) para lograr rechazos robustos en etapas tardías.
4. Rendimiento Superior: Demostración de que el método mejora significativamente la robustez sin sacrificar la utilidad general del modelo.

4. Resultados Experimentales

Los experimentos se realizaron en varios modelos de código abierto (LLaMA-2, LLaMA-3.1, Qwen2.5) contra múltiples ataques de jailbreak.

• Defensa contra Ataques Adversarios (AdvBench):
  • TSC-GRPO superó consistentemente a los métodos baselines (SFT, RLHF, DPO, NemoGuard, etc.).
  • Redujo la Tasa de Éxito del Ataque (ASR) a 0.00% en ataques fuertes como Prefix Injection, AutoDAN e ICA en varios modelos.
  • Por ejemplo, en LLaMA-2-7B-Chat, el ASR contra AutoDAN bajó del 51.02% (RLHF) al 15.56% (TSC-GRPO).
• Resistencia a Ataques de Fine-Tuning:
  • Evaluado contra ataques de "Cambio de Identidad" (Identity Shifting) y "Envenenamiento de Puerta Trasera" (Backdoor Poisoning).
  • Mientras que el SFT estándar falló catastróficamente (ASR > 90% en envenenamiento), TSC-GRPO mantuvo un ASR promedio de ~2.8% y 0.0% en cambio de identidad.
• Utilidad (Capacidades Generales):
  • Se evaluó en benchmarks de razonamiento matemático (GSM8K), generación de código (HumanEval, MBPP) y verdad (TruthfulQA).
  • Resultado: No se observó una "tasa de alineación" (alignment tax) significativa. De hecho, algunos modelos mostraron mejoras en tareas de código, manteniendo o mejorando ligeramente su rendimiento general.

5. Significado e Impacto

Este trabajo representa un cambio fundamental en la seguridad de los LLMs:

• De lo Superficial a lo Profundo: Mueve el enfoque de simplemente bloquear palabras clave o patrones de salida (parches conductuales) a estabilizar la representación semántica interna del modelo.
• Robustez Causal: Al forzar al modelo a entender que la intención maliciosa es invariante al estilo del prefijo, se logra una defensa que no depende de la primera palabra generada, permitiendo "negativas tardías" (late-stage refusals) incluso si el modelo ha comenzado a cumplir.
• Generalización: La metodología es aplicable a diferentes arquitecturas de modelos y tipos de ataques, ofreciendo una solución más generalizable que los métodos de filtrado o detección posteriores.

En conclusión, TSC-GRPO demuestra que es posible "anclar" la comprensión de la seguridad en la representación latente del modelo, haciendo que la alineación sea intrínsecamente robusta frente a manipulaciones contextuales.