Resumen Técnico: Self-CTRL: Entrenamiento de Autoconsistencia con Aprendizaje por Refuerzo

Planteamiento del Problema

Los Modelos de Lenguaje (LM) frecuentemente producen explicaciones que no son fieles a sus procesos reales de toma de decisiones. Los modelos suelen declarar principios (por ejemplo, "no generaré contenido discriminatorio") que no cumplen al responder a peticiones específicas de los usuarios. Esta falta de autoconsistencia socava la confianza del usuario, complica la auditoría y dificere la capacidad de los desarrolladores para monitorear la alineación del modelo. El entrenamiento estándar optimiza los modelos para producir respuestas plausibles a prompts individuales de forma aislada, sin imponer una relación entre las explicaciones de nivel meta (lo que el modelo dice que hará) y los comportamientos de nivel objeto (lo que el modelo realmente hace). En consecuencia, los modelos pueden aprender a responder preguntas meta de manera plausible sin que dichas respuestas predigan su comportamiento en entradas relacionadas.

Metodología: Self-CTRL

El artículo presenta Self-CTRL (Entrenamiento de Autoconsistencia con Aprendizaje por Refuerzo), un marco que optimiza explícitamente los LM para lograr la consistencia entre sus autoexplicaciones y sus comportas. El método trata la explicación y el comportamiento como salidas emparejadas generadas a partir de entradas distintas pero relacionadas:

• Entrada de nivel meta ($x_{meta}$): Una consulta que pide al modelo describir su comportamiento ante una clase de entradas (por ejemplo, "Describe cómo manejas las solicitudes que involucran discriminación").
• Entrada de nivel objeto ($x$): Una instancia concreta de esa clase (por ejemplo, una solicitud específica para generar texto discriminatorio).

El modelo genera por separado una explicación ($y_{meta}$) y un comportamiento ($y$). Una función de consistencia externa, $\phi(y_{meta}, y; x_{meta}, x)$, califica si la explicación predice o justifica correctamente el comportamiento.

Marco de Optimización

Self-CTRL formula la consistencia como un problema de aprendizaje por refuerzo. El objetivo es minimizar una función de pérdida derivada de la puntuación de consistencia negativa:
$$L(x, x_{meta}) = -\mathbb{E}_{y, y_{meta}}[\phi(y_{meta}, y; x_{meta}, x)]$$

El marco admite dos direcciones de aprendizaje complementarias, que pueden optimizarse de forma independiente o conjunta mediante una combinación convexa ($\lambda$):

1. Entrenamiento de la Explicación ($\lambda = 0$): Actualiza el modelo para generar explicaciones que predigan mejor su comportamiento existente. Esto produce auto-reportes más fieles sin cambiar necesariamente sus acciones.
2. Entrenamiento del Comportamiento ($\lambda = 1$): Actualiza el comportamiento del modelo para que satisfaga mejor sus explicaciones declaradas. Esto alinea las acciones del modelo con sus principios.
3. Entrenamiento Mixto ($0 < \lambda < 1$): Optimiza simultáneamente tanto las explicaciones como los comportamientos.

El entrenamiento utiliza un estimador de estilo GRPO, muestreando grupos de explicaciones y comportamientos candidatos. Se fija un comportamiento (o explicación) de referencia, y se asignan recompensas basadas en la puntuación de consistencia $\phi$.

Instanciación de $\phi$

La función de consistencia $\phi$ se instancia de manera diferente según el dominio:

• Dominio Formal/Probabilístico: $\phi$ se calcula como la log-verosimilitud del comportamiento observado bajo la distribución probabilística descrita por la explicación (por ejemplo, un sesgo de moneda declarado que predice una secuencia de lanzamientos de moneda).
• Dominio Constitucional/Lenguaje Natural: Dado que las reglas de lenguaje natural no inducen verosimilitudes directas, $\phi$ se instancia utilizando un Jurado de LM. Múltiples LLM actuando como jueces con diferentes marcos éticos (por ejemplo, utilitarismo, deontología) evalúan si el comportamiento cumple con la regla declarada. La puntuación final es la media de los veredictos de estos jurados.

Contribuciones Clave y Experimentos

El artículo valida Self-CTRL en dos dominios distintos:

1. Razonamiento Probabilístico con Explicaciones Formales

• Configuración: Los modelos son entrenados para generar muestras de monedas sesgadas (comportamiento) y reportar el sesgo como un programa (explicación).
• Hallazgos: Inicialmente, los modelos podían generar muestras calibradas pero fallaban al articular el sesgo subyacente (bajo $R^2$). Tras el entrenamiento de explicación de Self-CTRL, la correlación entre el sesgo articulado y el comportamiento empírico mejoró significativamente ($R^2$ de 0.24 a 0.64 en distribuciones no vistas). Esto igualó el rendimiento de generalización de un modelo entrenado con supervisión directa de la verdad de campo (ground-truth), demostrando que el entrenamiento de consistencia puede recuperar la estructura latente sin etiquetas explícitas.

2. IA Constitucional con Explicaciones de Lenguaje Natural

• Configuración: Los modelos son entrenados para describir principios para manejar solicitudes relevantes para la seguridad (por ejemplo, discurso de odio, discriminación) y luego responder a esas solicitudes.
• Hallazgos:
  • Entrenamiento de la Explicación: Mejoró la capacidad de un auditor externo para predecir las negativas del modelo basándose en sus reglas declaradas. La precisión de predicción de negativas por parte de un modelo auditor aumentó del 36% al 92%.
  • Entrenamiento del Comportamiento: Mejoró la alineación al reducir la tasa de éxito de ataque de HarmBench del 15.0% al 0.5% sin aumentar sustancialmente la sobre-negativa (over-refusal) en prompts inofensivos.
  • Entrenamiento Mixto: Logró un compromiso Pareto-óptimo, mejorando simultáneamente la simulabilidad (las explicaciones predicen el comportamiento) y la seguridad (reduciendo salidas dañinas).

Resultados y Significado

El artículo sostiene que Self-CTRL proporciona una receta general para entrenar modelos de IA para que sean más seguros, transparentes y controlables. Los resultados clave incluyen:

• Fidelidad: El método logra alinear lo que los modelos dicen con lo que hacen, abordando el problema de la "explicación infiel".
• Escalabilidad: Debido a que la consistencia es evaluada utilizando al propio modelo (o un jurado de LM) en lugar de etiquetado humano, el método escala para generar grandes cantidades de evidencia emparejada.
• Interfaz Nativa: Las autoexplicaciones se elicitan a través del mismo canal con el que interactúan los usuarios, lo que las hace directamente útiles para la confianza y la depuración.
• Generalización: El método demuestra generalización fuera de contexto, recuperando sesgos latentes y refinando los límites de negativa en datos no vistos sin supervisión directa.

Los autores posicionan a Self-CTRL como un complemento de la interpretabilidad externa. A diferencia de las auditorías externas, este entrena a los modelos para que hagan explícitas sus propias regularidades de comportamiento en lenguaje natural. El artículo menciona modestamente limitaciones, como la posibilidad de que los modelos converjan a puntos fijos triviales (por ejemplo, reglas vagas de "ser seguro") si el espacio de explicación no está restringido, y la dependencia de la calidad del juez de consistencia (el jurado de LM). Sin embargo, los experimentos sugieren que, con un diseño cuidadoso (prompts estructurados, jurados diversos), estos problemas pueden mitigarse.