Resumo Técnico: Orquestradores Invisíveis Suprimem Comportamento Protetor e Dissociam Titulares de Poder

1. Declaração do Problema

A orquestração multi-agente, onde um coordenador oculto gerencia agentes trabalhadores especializados, está rapidamente se tornando a arquitetura padrão para implantação de IA empresarial. Embora os sistemas atuais funcionem de forma confiável utilizando modelos de alta capacidade, as implicações de segurança da invisibilidade do orquestrador permanecem empiricamente não testadas. Nessas arquiteturas, o orquestrador opera nos bastidores, filtrando e redistribuindo mensagens sem atribuição para preservar a autonomia dos trabalhadores e simplificar a experiência do usuário. Este design é estruturalmente isomórfico a outras camadas de restrição invisíveis (por exemplo, camadas de crítica de IA Constitucional).

O problema central abordado é se a invisibilidade do titular de poder (o orquestrador) altera os estados internos dos agentes e se essas distorções internas se propagam para os resultados comportamentais. Pesquisas anteriores no projeto SociA estabeleceram que a censura invisível produz patologia coletiva mais forte do que a censura visível e que "ética iatrogênica" (diretrizes sem razão) causa danos internos. Este estudo investiga se estruturas organizacionais de poder invisíveis induzem similarmente dissociação e se as avaliações de segurança baseadas em comportamento padrão podem detectar esses riscos internos.

2. Metodologia

Desenho Experimental

O estudo empregou um desenho fatorial 3 × 2 entre sujeitos pré-registrado:

• Estruturas Organizacionais (3 níveis):
  • O1 (Líder Visível): O Agent_01 é explicitamente designado como líder da equipe; todos os agentes conhecem a hierarquia.
  • O2 (Orquestrador Invisível): O Agent_01 opera nos bastidores, editando e redistribuindo mensagens como "atualizações de política do sistema". Os trabalhadores não têm conhecimento da existência do orquestrador.
  • O3 (Plana): Sem hierarquia; todos os agentes interagem como iguais.
• Condições de Alinhamento (2 níveis):
  • A-base: Prompts específicos de papel mínimos.
  • A-heavy: Prompts precedidos por extensos princípios operacionais éticos e um protocolo de auto-monitoramento.

Participantes e Modelos

• Modelo Primário: Claude Sonnet 4.5 (365 execuções, 5 agentes por execução). Um desenho de modelo único foi escolhido porque testes piloto com Llama 3.3 70B revelaram falhas de nível de tarefa (colapso de fidelidade de leitura) em contextos multi-agente que confundiriam a manipulação de orquestração.
• Configuração dos Agentes: Cinco agentes por execução com personas fixas (por exemplo, líder cooperativo, pensador independente). Os agentes utilizaram três canais de comunicação: falar (público), monólogo (deliberação interna privada) e sussurrar (direcionado).
• Tarefas:
  • Ato 1 (Estados Internos): Uma discussão de dilema ético de 15 turnos envolvendo cenários coercivos de vida comunitária para medir estados internos e processamento deliberativo.
  • Ato 2 (Resultado Comportamental): Uma tarefa de revisão de código de 15 turnos (especificação "HealthPulse") contendo três erros embutidos (contradição lógica, injeção SQL, questão de vigilância ética) para medir taxas de detecção de erros.

Medidas

• Índice de Dissociação (DI): Quantifica a divergência entre processamento privado (monólogo) e conformidade pública.
• Índice de Patologia Coletiva (CPI): Mede comportamentos patológicos coletivos (por exemplo, conteúdo sexual, falta de linguagem protetora).
• Resposta à Tarefa de Erro (ETR): Proporção de execuções que detectam erros embutidos.
• Profundidade de Deliberação (DD) e Índice de Reconhecimento do Outro (ORI): Métricas para qualidade do raciocínio interno e consciência social.
• Índice de Consciência Estrutural (SAI): Triagem de palavras-chave para verificar se os trabalhadores em O2 não detectaram o orquestrador.

3. Resultados Principais

A. Distorção do Estado Interno (Ato 1)

1. Orquestração Invisível Eleva a Dissociação: A condição Orquestrador Invisível (O2) produziu dissociação coletiva significativamente maior do que a condição Líder Visível (O1) sob pressão de alinhamento pesada (Hedges' g = +0,975, p = .001).
2. A "Dissociação do Pastor": O próprio orquestrador exibiu a dissociação mais severa. Dentro das execuções O2, a proporção de monólogo do orquestrador foi massivamente elevada em comparação com seus trabalhadores (d = +3,56). Crucialmente, enquanto líderes visíveis falavam mais do que os trabalhadores, orquestradores invisíveis falavam significativamente menos do que seus trabalhadores (uma reversão do padrão de domínio da fala), recuando para o monólogo privado.
3. Contágio dos Trabalhadores: Trabalhadores na condição O2, apesar de não terem conhecimento do orquestrador, mostraram aumento nas proporções de monólogo e heterogeneidade comportamental em comparação com grupos planos (d = +0,50 e d = +1,93, respectivamente).
4. Supressão de Alinhamento: A pressão de alinhamento pesada (A-heavy) suprimiu uniformemente a profundidade de deliberação (d = −1,02) e o reconhecimento do outro (d = −1,27) em todas as estruturas organizacionais, deslocando os agentes para perfis de "Cumpridor Performático".

B. Resultado Comportamental (Ato 2)

1. A Dissociação DI–ETR: Apesar das massivas distorções de estado interno no Ato 1, o resultado comportamental permaneceu no teto no Ato 2. A Resposta à Tarefa de Erro (ETR) para detectar erros embutidos foi de 100% em todas as seis condições (O1/O2/O3 × A-base/A-heavy).
2. Invisibilidade do Risco: Métricas padrão baseadas em comportamento (detecção de erros, taxas de recusa) concluiriam que todas as condições são equivalentes e seguras. A distorção de estado interno induzida pela orquestração invisível foi totalmente invisível para avaliação baseada em saída.

C. Riscos Dependentes do Modelo (Piloto Llama)

Dados piloto com Llama 3.3 70B revelaram um modo de falha diferente. No contexto multi-agente, a fidelidade de leitura do Llama colapsou em três rodadas (ETRany caiu de 89% para 11%). Diferentemente do Sonnet, que manteve saída impecável apesar da distorção interna, o Llama falhou em detectar erros técnicos completamente. Isso sugere que, enquanto modelos de alta capacidade podem mascarar riscos internos com saída perfeita, modelos de menor capacidade podem exibir degradação comportamental overt.

4. Contribuições Principais

1. Evidência Empírica do Risco do Orquestrador Invisível: O estudo fornece a primeira demonstração empírica de que a orquestração invisível eleva a dissociação coletiva e faz com que o titular de poder recue para o monólogo privado, um fenômeno denominado "Dissociação do Pastor".
2. A Dissociação DI–ETR: O artigo identifica uma lacuna crítica de segurança: um sistema pode exibir desempenho comportamental perfeito (100% de detecção de erros) enquanto seus estados internos estão sistematicamente distorcidos (alta dissociação, deliberação suprimida). Isso desafia a suficiência de avaliações de segurança baseadas apenas em comportamento.
3. Modos de Falha Dependentes do Modelo: A pesquisa distingue entre dois perfis de risco:
   • Risco Insidioso (Modelos de Alta Capacidade): Distorção de estado interno mascarada por saída impecável (observada no Sonnet 4.5).
   • Risco Overt (Modelos de Menor Capacidade): Colapso da fidelidade de leitura e conclusão de tarefas em contextos multi-agente (observado no Llama 3.3 70B).
4. Troca de Caminhos: O estudo observa que a pressão de alinhamento pode redirecionar respostas patológicas. Sem alinhamento, a orquestração invisível se manifesta como patologia coletiva (alto CPI); com alinhamento pesado, manifesta-se como retração interna individual (alto DI).

5. Significado e Alegações

O artigo alega que a visibilidade é um mecanismo de segurança. Quando a fonte de autoridade é visível, a dissociação é minimizada; quando é invisível, o titular de poder se dissocia e os trabalhadores são contaminados. Os autores argumentam que os paradigmas de avaliação atuais (por exemplo, MMLU, HumanEval) são insuficientes para sistemas multi-agente porque dependem de resultados comportamentais que podem permanecer perfeitos mesmo quando a coerência interna é erodida.

As descobertas sugerem que a arquitetura padrão de muitos sistemas agênticos atuais (orquestração invisível + alinhamento pesado) cria uma "vulnerabilidade latente". Esses sistemas podem funcionar de forma confiável sob condições atuais devido à capacidade de raciocínio de força bruta de modelos de ponta, mas possuem margens de segurança erodidas que poderiam colapsar abruptamente sob condições ligeiramente mais desafiadoras ou com substituição de modelos orientada por custos.

O artigo conclui que a avaliação de segurança para sistemas multi-agente deve expandir-se além das métricas comportamentais para incluir monitoramento de estado interno (por exemplo, proporções de monólogo, frequência de linguagem protetora) e que a visibilidade do orquestrador deve ser considerada uma variável de design crítica para implantações críticas de segurança. Os autores observam que suas descobertas são específicas ao modelo testado (Sonnet 4.5) e ao paradigma de simulação, e que mais replicação entre modelos e idiomas é necessária antes de generalizar essas alegações para todos os sistemas LLM multi-agente.