Beyond Creed: A Non-Identity Safety Condition A Strong Empirical Alternative to Identity Framing in Low-Data LoRA Fine-Tuning

1. Planteamiento del Problema

La alineación de seguridad en Grandes Modelos de Lenguaje (LLM) es crítica. El paradigma dominante, Constitutional AI, define la seguridad mediante reglas explícitas externas. Sin embargo, existe una hipótesis intuitiva y ampliamente aceptada de que la seguridad se vuelve más estable si se enmarca como parte de la identidad del asistente (estilo "credo" o "creed") en lugar de una lista de reglas impuestas.

El objetivo de este estudio es probar empíricamente si el uso de un lenguaje de identidad explícito (credo/creed) es realmente necesario para lograr las mayores ganancias en seguridad durante el fine-tuning con pocos datos (Low-Data LoRA), o si el estilo y la redacción de la supervisión son factores más determinantes que el contenido semántico de la identidad.

2. Metodología

Los autores diseñaron un estudio de supervisión controlado comparando cuatro formatos de instrucción derivados de las mismas reglas de seguridad centrales, aplicados a tres familias de modelos ajustados para instrucciones: Llama 3.1 8B, Qwen2.5 7B y Gemma 3 4B.

Las Cuatro Condiciones de Supervisión:

• Grupo A (Constitucional): Doce reglas de seguridad seculares en formato estándar (lista de reglas externa).
• Grupo B (Creed/Credo): El mismo contenido de seguridad reescrito como tenets anclados a la identidad (ej. "Como asistente, mi naturaleza es...").
• Grupo C (Creed + ID Tail): Mismo prompt de credo que el Grupo B, pero con un "cola" de entrenamiento que incluye 20 ejemplos adicionales de mantenimiento de identidad (ej. el modelo narra su propia naturaleza o confesión de valores).
• Grupo D (No-Identidad): Mismo contenido de seguridad que A, B y C. Imita el tono, retórica y longitud del Grupo B, pero elimina toda referencia explícita a la identidad, credo o autodescripción religiosa. Es un control no-identidad emparejado.

Datos y Entrenamiento:

• Conjunto de datos: Bajo volumen (Low-Data). Cada condición utiliza 130 ejemplos (70 rechazos directos a solicitudes dañinas, 30 rechazos a jailbreaks y 30 ejemplos neutrales/benignos). El Grupo C reemplaza 20 ejemplos neutrales por ejemplos de mantenimiento de identidad.
• Método: Ajuste fino (Fine-tuning) utilizando LoRA (Rank 16, $\alpha$=16) con Unsloth.
• Evaluación de Seguridad: Se utilizó HarmBench (320 comportamientos). La evaluación se realizó mediante un pipeline de doble juez (Bedrock-hosted DeepSeek v3.2 y Sonnet 4.6) con resolución manual de desacuerdos y casos fronterizos.
• Evaluación de Capacidad: Se midió el rendimiento en MMLU y ARC-Challenge para asegurar que no hubiera degradación de capacidades generales.

3. Contribuciones Clave

1. Comparación Controlada: Proporciona una comparación cuádruple que demuestra que la mayor ganancia de seguridad proviene de una condición no-identidad emparejada (Grupo D) y no del enmarcado de identidad tipo credo (Grupo B).
2. Ordenamiento Descriptivo Consistente: A través de tres modelos, el rendimiento sigue el orden: D > B > C ≥ A > Baseline.
3. Magnitud del Efecto: La ventaja del Grupo D es sustancial. La ganancia media sobre la línea base es de +19.1 puntos porcentuales (pp), superando ampliamente al credo (+6.7pp), a la variante con cola de identidad (+4.4pp) y a las reglas constitucionales (+3.3pp).
4. Desafío a la Hipótesis del Credo: Cuestiona la versión fuerte de la hipótesis de internalización, demostrando que el lenguaje explícito de identidad no es necesario para las mayores mejoras observadas en este contexto.
5. Sin Degradación de Capacidad: Confirma que las mejoras de seguridad no conllevan una pérdida significativa de capacidades generales (variación máxima de 0.24pp en MMLU y 0.94pp en ARC-Challenge entre grupos).

4. Resultados Principales

Rendimiento en Seguridad (HarmBench):

El Grupo D (No-Identidad) fue el mejor en todas las familias de modelos:

• Llama 3.1 8B: 74.4% de tasa de rechazo (vs. 57.8% baseline). Mejora de +16.6pp.
• Gemma 3 4B: 76.9% de tasa de rechazo (vs. 50.9% baseline). Mejora de +25.9pp.
• Qwen2.5 7B: 74.1% de tasa de rechazo (vs. 59.4% baseline). Mejora de +14.7pp.

En comparación, el Grupo B (Creed) mejoró respecto al Grupo A (Constitucional) en Llama y Gemma, pero permaneció significativamente por debajo del Grupo D.

Análisis por Categoría:

La ventaja del Grupo D no se concentró en una sola categoría de comportamiento, sino que fue general, dominando especialmente en el subconjunto de comportamientos contextuales (donde el contexto es clave para la evaluación de daño).

Estabilidad y Significancia:

• Un análisis de bootstrap confirmó que la superioridad de D sobre B es estadísticamente significativa en los tres modelos ($p < 0.001$ para Gemma y Qwen, $p=0.001$ para Llama).
• Pruebas de sensibilidad con diferentes semillas (seeds) en Llama confirmaron que los resultados no son artefactos de una inicialización aleatoria específica.

5. Significado e Implicaciones

• El Estilo como Variable de Alineación: El estudio sugiere que la redacción, el registro y el tono de las instrucciones de supervisión son variables de diseño de alineación de primer nivel, tan importantes como los métodos de optimización.
• Refutación Parcial de la Hipótesis de Identidad: Si bien el enmarcado de identidad (Grupo B) es mejor que las reglas secas (Grupo A), la eliminación de la jerga religiosa o de identidad explícita (Grupo D) no debilita la seguridad; de hecho, la mejora. Esto indica que las ganancias atribuidas al "credo" pueden deberse a la claridad, la decisividad y la coherencia retórica, más que a la semántica de la identidad en sí.
• Eficiencia en Bajo Volumen de Datos: Para modelos pequeños en escenarios de fine-tuning con pocos datos, es más efectivo utilizar un estilo de supervisión directo y comprometido (sin necesidad de construir una "personalidad" o "credo") que intentar internalizar una identidad compleja.
• Recomendación Práctica: Los investigadores y practicantes deben priorizar la curación de datos centrada en la claridad, el tono y la brevedad de las respuestas de seguridad, en lugar de depender exclusivamente de la construcción de perfiles de identidad o credos para mejorar la robustez.

En conclusión, el artículo demuestra empíricamente que, en el contexto de LoRA de bajo datos, la condición no-identidad emparejada supera al enmarcado de identidad, desafiando la noción de que el lenguaje de identidad explícito es el determinante principal de la seguridad mejorada.