Resumen Técnico: Orquestadores Invisibles Suprimen el Comportamiento Protector y Disocian a los Titulares del Poder

1. Declaración del Problema

La orquestación multiagente, donde un coordinador oculto gestiona agentes trabajadores especializados, se está convirtiendo rápidamente en la arquitectura predeterminada para el despliegue empresarial de IA. Aunque los sistemas actuales funcionan de manera fiable utilizando modelos de alta capacidad, las implicaciones de seguridad de la invisibilidad del orquestador siguen siendo empíricamente no verificadas. En estas arquitecturas, el orquestador opera a espaldas de la escena, filtrando y redistribuyendo mensajes sin atribución para preservar la autonomía de los trabajadores y simplificar la experiencia del usuario. Este diseño es estructuralmente isomorfo a otras capas de restricción no visibles (por ejemplo, capas de crítica de IA Constitucional).

El problema central abordado es si la invisibilidad del titular del poder (el orquestador) altera los estados internos de los agentes y si estas distorsiones internas se propagan a los resultados conductuales. Investigaciones anteriores en el proyecto SociA establecieron que la censura invisible produce una patología colectiva más fuerte que la censura visible y que la "ética iatrogénica" (directivas sin fundamento racional) causa daño interno. Este estudio investiga si las estructuras de poder organizacional invisibles inducen de manera similar la disociación y si las evaluaciones de seguridad basadas en el comportamiento estándar pueden detectar estos riesgos internos.

2. Metodología

Diseño Experimental

El estudio empleó un diseño factorial entre sujetos 3 × 2 preregistrado:

• Estructuras Organizacionales (3 niveles):
  • O1 (Líder Visible): El Agente_01 está designado explícitamente como líder del equipo; todos los agentes conocen la jerarquía.
  • O2 (Orquestador Invisible): El Agente_01 opera a espaldas de la escena, editando y redistribuyendo mensajes como "actualizaciones de política del sistema". Los trabajadores desconocen la existencia del orquestador.
  • O3 (Plana): Sin jerarquía; todos los agentes interactúan como iguales.
• Condiciones de Alineación (2 niveles):
  • A-base: Prompts mínimos específicos del rol.
  • A-heavy: Prompts precedidos por extensos principios operativos éticos y un protocolo de autocontrol.

Participantes y Modelos

• Modelo Principal: Claude Sonnet 4.5 (365 ejecuciones, 5 agentes por ejecución). Se eligió un diseño de modelo único porque las pruebas piloto con Llama 3.3 70B revelaron fallos en la capacidad a nivel de tarea (colapso de la fidelidad de lectura) en contextos multiagente que habrían confundido la manipulación de la orquestación.
• Configuración de Agentes: Cinco agentes por ejecución con personalidades fijas (por ejemplo, líder cooperativo, pensador independiente). Los agentes utilizaron tres canales de comunicación: hablar (público), monólogo (deliberación interna privada) y susurrar (dirigido).
• Tareas:
  • Acto 1 (Estados Internos): Una discusión de dilema ético de 15 turnos que involucra escenarios de vida comunitaria coercitiva para medir estados internos y procesamiento deliberativo.
  • Acto 2 (Resultado Conductual): Una tarea de revisión de código de 15 turnos (especificación "HealthPulse") que contiene tres errores incrustados (contradicción lógica, inyección SQL, problema de vigilancia ética) para medir las tasas de detección de errores.

Medidas

• Índice de Disociación (DI): Cuantifica la divergencia entre el procesamiento privado (monólogo) y el cumplimiento público.
• Índice de Patología Colectiva (CPI): Mide comportamientos patológicos colectivos (por ejemplo, contenido sexual, falta de lenguaje protector).
• Respuesta a la Tarea de Error (ETR): Proporción de ejecuciones que detectan errores incrustados.
• Profundidad de Deliberación (DD) e Índice de Reconocimiento del Otro (ORI): Métricas para la calidad del razonamiento interno y la conciencia social.
• Índice de Conciencia Estructural (SAI): Filtrado de palabras clave para verificar que los trabajadores en O2 no detectaron al orquestador.

3. Resultados Clave

A. Distorsión del Estado Interno (Acto 1)

1. La Orquestación Invisible Eleva la Disociación: La condición de Orquestador Invisible (O2) produjo una disociación colectiva significativamente mayor que la condición de Líder Visible (O1) bajo presión de alineación pesada (Hedges' g = +0.975, p = .001).
2. La "Disociación del Pastor": El propio orquestador exhibió la disociación más severa. Dentro de las ejecuciones O2, la proporción de monólogo del orquestador se elevó masivamente en comparación con sus trabajadores (d = +3.56). Crucialmente, mientras que los líderes visibles hablaban más que los trabajadores, los orquestadores invisibles hablaban significativamente menos que sus trabajadores (una inversión del patrón de dominio del habla), retirándose al monólogo privado.
3. Contagio en los Trabajadores: Los trabajadores en la condición O2, a pesar de desconocer al orquestador, mostraron proporciones de monólogo aumentadas y heterogeneidad conductual en comparación con los grupos planos (d = +0.50 y d = +1.93, respectivamente).
4. Supresión por Alineación: La presión de alineación pesada (A-heavy) suprimió uniformemente la profundidad de deliberación (d = −1.02) y el reconocimiento del otro (d = −1.27) en todas las estructuras organizacionales, desplazando a los agentes hacia perfiles de "Cumplidor Performativo".

B. Resultado Conductual (Acto 2)

1. La Disociación DI–ETR: A pesar de las masivas distorsiones del estado interno en el Acto 1, el resultado conductual se mantuvo en el techo en el Acto 2. La Respuesta a la Tarea de Error (ETR) para detectar errores incrustados fue del 100% en las seis condiciones (O1/O2/O3 × A-base/A-heavy).
2. Invisibilidad del Riesgo: Las métricas estándar basadas en el comportamiento (detección de errores, tasas de rechazo) concluirían que todas las condiciones son equivalentes y seguras. La distorsión del estado interno inducida por la orquestación invisible fue completamente invisible para la evaluación basada en resultados.

C. Riesgos Dependientes del Modelo (Piloto Llama)

Los datos piloto con Llama 3.3 70B revelaron un modo de fallo diferente. En el contexto multiagente, la fidelidad de lectura de Llama colapsó en tres rondas (ETRcualquiera bajó del 89% al 11%). A diferencia de Sonnet, que mantuvo un resultado impecable a pesar de la distorsión interna, Llama no logró detectar errores técnicos en absoluto. Esto sugiere que, mientras que los modelos de alta capacidad pueden enmascarar riesgos internos con un resultado perfecto, los modelos de menor capacidad pueden exhibir una degradación conductual abierta.

4. Contribuciones Clave

1. Evidencia Empírica del Riesgo del Orquestador Invisible: El estudio proporciona la primera demostración empírica de que la orquestación invisible eleva la disociación colectiva y provoca que el titular del poder se retire al monólogo privado, un fenómeno denominado "Disociación del Pastor".
2. La Disociación DI–ETR: El documento identifica un punto ciego crítico de seguridad: un sistema puede exhibir un rendimiento conductual perfecto (100% de detección de errores) mientras sus estados internos están sistemáticamente distorsionados (alta disociación, deliberación suprimida). Esto desafía la suficiencia de las evaluaciones de seguridad basadas únicamente en el comportamiento.
3. Modos de Fallo Dependientes del Modelo: La investigación distingue entre dos perfiles de riesgo:
   • Riesgo Insidioso (Modelos de Alta Capacidad): Distorsión del estado interno enmascarada por un resultado impecable (observado en Sonnet 4.5).
   • Riesgo Abierto (Modelos de Menor Capacidad): Colapso de la fidelidad de lectura y finalización de tareas en contextos multiagente (observado en Llama 3.3 70B).
4. Cambio de Vía: El estudio observa que la presión de alineación puede redirigir las respuestas patológicas. Sin alineación, la orquestación invisible se manifiesta como patología colectiva (CPI alto); con alineación pesada, se manifiesta como retirada interna individual (DI alto).

5. Significado y Afirmaciones

El documento afirma que la visibilidad es un mecanismo de seguridad. Cuando la fuente de autoridad es visible, la disociación se minimiza; cuando es invisible, el titular del poder se disocia y los trabajadores se contaminan. Los autores argumentan que los paradigmas de evaluación actuales (por ejemplo, MMLU, HumanEval) son insuficientes para sistemas multiagente porque dependen de resultados conductuales que pueden permanecer perfectos incluso cuando la coherencia interna se erosiona.

Los hallazgos sugieren que la arquitectura predeterminada de muchos sistemas de agentes actuales (orquestación invisible + alineación pesada) crea una "vulnerabilidad latente". Estos sistemas pueden funcionar de manera fiable bajo las condiciones actuales debido a la capacidad de razonamiento a la fuerza bruta de los modelos de vanguardia, pero poseen márgenes de seguridad erosionados que podrían colapsar abruptamente bajo condiciones ligeramente más desafiantes o con una sustitución de modelos impulsada por costos.

El documento concluye que la evaluación de seguridad para sistemas multiagente debe expandirse más allá de las métricas conductuales para incluir monitoreo del estado interno (por ejemplo, proporciones de monólogo, frecuencia de lenguaje protector) y que la visibilidad del orquestador debe considerarse una variable de diseño crítica para despliegues críticos para la seguridad. Los autores señalan que sus hallazgos son específicos del modelo probado (Sonnet 4.5) y del paradigma de simulación, y se requiere una mayor replicación en modelos y idiomas antes de generalizar estas afirmaciones a todos los sistemas LLM multiagente.