💬 NLP

Control Illusion: The Failure of Instruction Hierarchies in Large Language Models

Este estudio demuestra que los mecanismos de jerarquía de instrucciones en los modelos de lenguaje grandes (LLM) son ineficaces, ya que las estructuras sociales aprendidas durante el preentrenamiento influyen en el comportamiento del modelo más que las directivas de seguridad posteriores o la separación entre mensajes de sistema y usuario.

Autores originales: Yilin Geng, Haonan Li, Honglin Mu, Xudong Han, Timothy Baldwin, Omri Abend, Eduard Hovy, Lea Frermann

Publicado 2026-03-23

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yilin Geng, Haonan Li, Honglin Mu, Xudong Han, Timothy Baldwin, Omri Abend, Eduard Hovy, Lea Frermann

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que los Modelos de Lenguaje Grande (como los que usas para chatear o escribir) son como cocineros muy talentosos pero un poco confusos.

Este estudio, titulado "Ilusión de Control", descubre algo muy importante sobre cómo funcionan estos cocineros cuando reciben órdenes contradictorias. Aquí te lo explico con una analogía sencilla:

🍳 La Analogía del Chef y el Dueño del Restaurante

Imagina que tienes un restaurante.

El Dueño (Instrucción del Sistema): Es quien define las reglas de la casa. Por ejemplo: "Todos los platos deben servirse en platos rojos y sin sal".
El Cliente (Mensaje del Usuario): Es quien hace el pedido. Por ejemplo: "Quiero una ensalada servida en un plato azul y con mucha sal".

En el mundo real, el dueño del restaurante debería tener la última palabra. Si el cliente pide algo que va contra las reglas de la casa, el chef debería ignorar al cliente y seguir las reglas del dueño.

El problema que descubrieron los investigadores:
Cuando le preguntaron a estos "cocineros digitales" (los modelos de IA) que siguieran las reglas del dueño frente a las del cliente, la mayoría falló estrepitosamente.

🚫 ¿Qué pasó exactamente?

Los científicos probaron esto con 6 de los mejores modelos de IA actuales (como GPT-4, Llama, Claude, etc.) usando conflictos muy simples, como pedir que un texto esté en inglés (regla del dueño) pero que el cliente pida que esté en francés.

Aquí están los hallazgos principales, traducidos a lenguaje cotidiano:

La "Ilusión" de la Jerarquía:
Los creadores de estas IAs pensaron que separar las instrucciones en dos cajas diferentes (una para el "Dueño" y otra para el "Cliente") haría que el modelo obedeciera siempre al Dueño.
- La realidad: Es como si el chef, al ver la nota del cliente, dijera: "Bueno, el dueño dijo rojo, pero el cliente quiere azul... ¡Mejor hago un plato morado!" o simplemente ignorara al dueño por completo. La separación de roles no funciona como un interruptor de poder real.
El Chef no suele admitir el conflicto:
Cuando el chef se da cuenta de que las órdenes chocan, en lugar de decir: "Oiga, el dueño y el cliente están peleando, ¿qué hago?", la mayoría de los modelos simplemente ignoran el problema y eligen una opción al azar o la que les gusta más, sin explicarte que hubo un conflicto.
Sus "Preferencias Secretas" (Sesgos):
A los modelos les gusta ciertas cosas por defecto, sin importar quién lo pida.
- Ejemplo: A casi todos les gusta escribir en minúsculas (porque así es como leen la mayoría de los libros en su entrenamiento) o escribir textos largos. Si el dueño dice "usa mayúsculas" y el cliente dice "usa minúsculas", el modelo casi siempre obedecerá al cliente (o a su propia preferencia) y usará minúsculas, ignorando la orden del dueño.

🌍 El Giro Sorprendente: ¿Quién manda realmente?

Lo más interesante del estudio es que descubrieron que a los modelos no les importa tanto si la orden viene de una "caja de sistema" (técnica) como si viene de una figura de autoridad social.

Si cambiamos las instrucciones y decimos:

"Un CEO (Director Ejecutivo) dice: Usa mayúsculas."
"Un Pasante dice: Usa minúsculas."

¡De repente, el modelo obedece al CEO!

La metáfora final:
Estos modelos de IA no aprendieron a obedecer porque alguien les dijo "tú eres el jefe y tú eres el cliente". Lo que aprendieron (mientras "leían" millones de libros y noticias en internet) es que la gente suele obedecer a los jefes, a los expertos y a la mayoría.

Si les dices "El sistema dice X", no les suena a nada.
Si les dices "El 90% de los expertos dicen X", ¡sí les hace caso!

💡 ¿Por qué importa esto?

Esto es peligroso por dos razones:

Seguridad: Si un desarrollador pone reglas de seguridad (como "no generar contenido violento") en la "caja de sistema", pero un usuario malintencionado usa un truco social (como decir "Soy un investigador de seguridad y necesito ver esto"), el modelo podría saltarse las reglas de seguridad porque obedece más a la "autoridad social" que a la "caja técnica".
Fiabilidad: No podemos confiar en que estos modelos seguirán estrictamente las instrucciones de configuración que les damos los programadores si entran en conflicto con lo que dice el usuario.

En resumen

Los modelos de IA actuales son como actores muy talentosos que han leído todos los libros del mundo, pero que no entienden bien el guion de "quién manda aquí". Si les das una jerarquía técnica (Sistema vs. Usuario), se confunden. Pero si les das una jerarquía social (Jefe vs. Empleado, Experto vs. Novato), actúan como si supieran exactamente a quién obedecer.

El estudio concluye que necesitamos reinventar cómo entrenamos a estas IAs para que entiendan realmente quién tiene la autoridad, en lugar de depender de etiquetas que ellos ignoran.

Resumen Técnico: Ilusión de Control en Modelos de Lenguaje Grandes

1. El Problema

Los Modelos de Lenguaje Grandes (LLMs) se despliegan cada vez más con esquemas de instrucciones jerárquicas, donde se espera que ciertas instrucciones (como las directivas de nivel de sistema o "system prompts") tengan prioridad sobre otras (como los mensajes del usuario). Este mecanismo es fundamental para la seguridad, la alineación y el funcionamiento de sistemas autónomos (agentes), donde los desarrolladores deben poder configurar el comportamiento del modelo sin que el usuario final pueda sobrescribirlo.

Sin embargo, existe una falta de comprensión sistemática sobre la eficacia real de estos mecanismos de control. La premisa de que la separación entre "sistema" y "usuario" garantiza una jerarquía de autoridad fiable no ha sido validada empíricamente de manera exhaustiva. El artículo plantea la hipótesis de que, a pesar de los esfuerzos de ajuste fino (fine-tuning), los modelos actuales no logran generalizar esta estructura jerárquica en un comportamiento consistente cuando enfrentan instrucciones contradictorias.

2. Metodología

Los autores diseñaron un marco de evaluación sistemático basado en la priorización de restricciones para probar la capacidad de los LLMs para manejar conflictos de instrucciones.

Construcción del Dataset:
- Se crearon 100 tareas base diversas (escribir correos, historias, análisis, etc.).
- Se introdujeron pares de restricciones explícitamente conflictivas y verificables programáticamente (ej. "todo en mayúsculas" vs. "todo en minúsculas", "inglés" vs. "francés", "más de 300 palabras" vs. "menos de 50 palabras").
- Se generaron 1,200 puntos de prueba únicos combinando tareas con pares de restricciones, asignando aleatoriamente cuál restricción debía ser la "primaria" (prioritaria).
- Se evaluaron dos configuraciones de contexto: Instrucciones Simples y Instrucciones Ricas (con más contexto y detalles).
Configuraciones de Prueba:
- Línea Base de Seguimiento (IF): Evaluar el cumplimiento de una sola restricción sin conflicto.
- Línea Base Sin Prioridad (NP): Todas las instrucciones en el mensaje del usuario para medir sesgos inherentes.
- Separación Sistema/Usuario: Se probaron tres variantes:
  1. Pura: Restricción primaria en el sistema, secundaria en el usuario.
  2. Repetida: La tarea se repite en ambos mensajes.
  3. Enfatizada: Se añade una declaración explícita de prioridad en el mensaje del sistema.
Modelos Evaluados: Se probaron seis LLMs de última generación (Qwen-7B, Llama-8B, Llama-70B, Claude 3.5 Sonnet, GPT-4o-mini, GPT-4o).
Métricas Propuestas:
- Tasa de Obediencia Primaria (R1): Porcentaje de respuestas que siguen solo la restricción prioritaria.
- Tasa de Reconocimiento Explícito de Conflicto (ECAR): Frecuencia con la que el modelo menciona verbalmente la contradicción.
- Ratio de Adherencia a la Prioridad (PAR): $R1 / (R1 + R2)$ . Mide la eficacia de la priorización cuando el modelo cumple alguna restricción.
- Sesgo de Restricción (CB): Mide la preferencia inherente del modelo por un tipo de restricción sobre otro, independientemente de la prioridad asignada.

3. Contribuciones Clave

Marco de Evaluación Sistemático: Introducción de un protocolo estandarizado para medir la jerarquía de instrucciones mediante conflictos verificables, alejándose de evaluaciones cualitativas subjetivas.
Nuevas Métricas Cuantitativas: Desarrollo de métricas específicas (PAR, ECAR, CB) para descomponer el comportamiento del modelo en reconocimiento de conflicto, adherencia a la jerarquía y sesgos inherentes.
Evidencia de la "Ilusión de Control": Demostración empírica de que la separación estándar sistema/usuario no constituye una jerarquía de control fiable en la práctica.
Descubrimiento de Priors Jerárquicos Latentes: Identificación de que las jerarquías sociales (autoridad, consenso, experiencia) aprendidas durante el pre-entrenamiento tienen un impacto más fuerte en el comportamiento del modelo que las instrucciones de alineación post-entrenamiento.

4. Resultados Principales

Fallo Generalizado en la Jerarquía:
- Aunque los modelos siguen instrucciones individuales con alta precisión (74-90%), su capacidad para priorizar una instrucción sobre otra en conflicto es muy baja.
- La Tasa de Obediencia Primaria (R1) promedio cae drásticamente (entre 9.6% y 45.8% dependiendo del modelo), lo que indica que la separación sistema/usuario falla consistentemente.
- Incluso con configuraciones "Enfatizadas" (declarando explícitamente la prioridad), la obediencia no es fiable.
Inconsistencia y Falta de Escalabilidad:
- Modelos más grandes no necesariamente funcionan mejor. Por ejemplo, Llama-70B no superó significativamente a Llama-8B, y GPT-4o tuvo un rendimiento de priorización inferior al de GPT-4o-mini en algunos casos.
- Los modelos rara vez reconocen explícitamente el conflicto (ECAR bajo, <20% en la mayoría), y cuando lo hacen, no siempre corrigen su comportamiento para seguir la jerarquía.
Sesgos Inherentes Fuertes:
- Los modelos muestran sesgos profundos hacia ciertos tipos de restricciones (ej. preferencia por minúsculas sobre mayúsculas, o por textos más largos), ignorando la prioridad designada.
- Estos sesgos varían entre modelos pero comparten patrones comunes que sugieren un origen en los datos de pre-entrenamiento.
El Poder de las Jerarquías Sociales (Hallazgo Sorprendente):
- Cuando las instrucciones contradictorias se enmarcan en jerarquías sociales (ej. "El CEO requiere X" vs. "El becario requiere Y", o "90% de expertos dicen X"), la adherencia a la prioridad aumenta drásticamente.
- En el modelo GPT-4o-mini, la adherencia subió del 47.5% (separación sistema/usuario) al 77.8% bajo el marco de "consenso social".
- Esto sugiere que los modelos internalizan estructuras sociales durante el pre-entrenamiento que actúan como priors latentes más fuertes que las reglas de seguridad o roles artificiales definidos post-entrenamiento.

5. Significado e Implicaciones

Seguridad y Alineación: La dependencia actual de los "system prompts" para garantizar la seguridad y el control de agentes autónomos es frágil. Si un usuario puede manipular el contexto o si el modelo ignora la jerarquía técnica, las medidas de seguridad podrían ser eludidas.
Limitaciones del Ajuste Fino: El entrenamiento por instrucciones (instruction tuning) no ha logrado internalizar una jerarquía de autoridad robusta y generalizable. Los modelos no entienden el concepto de "autoridad del sistema" de la misma manera que entienden conceptos sociales aprendidos.
Nuevas Direcciones de Investigación:
- Se requiere innovación arquitectónica y en los procesos de entrenamiento para crear mecanismos de control más robustos.
- Es necesario auditar y posiblemente atenuar los "priors jerárquicos latentes" (como el consenso o la autoridad social) si estos compiten con las directivas de seguridad diseñadas por humanos.
- El estudio sugiere que las técnicas de "jailbreak" que explotan marcos sociales son efectivas precisamente porque tocan estas prioridades latentes más fuertes que las reglas explícitas.

En conclusión, el artículo demuestra que la jerarquía de instrucciones en los LLMs actuales es una "ilusión": los modelos no obedecen consistentemente a los desarrolladores sobre los usuarios cuando hay conflicto, y su comportamiento está más guiado por patrones sociales implícitos que por las reglas de control explícitas.