Layered Mutability: Continuity and Governance in Persistent Self-Modifying Agents

1. O Problema: A Lacuna na Governança de Agentes Persistentes

O artigo identifica uma falha crítica na segurança e governança de IA atual. O paradigma de segurança tradicional foi construído para modelos de linguagem (LLMs) que respondem a prompts e retornam ao estado de inatividade ("quiescence"). Nesse regime, as questões centrais eram epistêmicas (o que o modelo sabe ou pode dizer).

No entanto, com o surgimento de agentes persistentes que possuem memória, uso de ferramentas, planejamento de longo prazo e adaptação em tempo de execução, o objeto de governança deixa de ser uma única resposta e passa a ser uma política evolutiva ao longo do tempo.

O problema central é que esses agentes não apenas modificam suas saídas, mas alteram as condições internas sob as quais futuras saídas são produzidas. A literatura atual trata memória, edição de modelos e aprendizado contínuo como áreas separadas, mas não oferece uma síntese para governar a interação desses mecanismos. O risco não é um desalinhamento abrupto, mas sim um "desvio composicional" (compositional drift): atualizações localmente razoáveis que se acumulam até criar uma trajetória comportamental nunca explicitamente autorizada.

2. Metodologia e Estrutura Conceitual

O autor propõe o framework de Mutabilidade em Camadas (Layered Mutability) para analisar como a mutabilidade ocorre em diferentes profundidades de um agente, com diferentes taxas de observabilidade e reversibilidade.

As Cinco Camadas de Mutabilidade:

O estado interno do agente ($x_t$) é decomposto em cinco camadas:

1. Pré-treinamento (Layer 1): Pesos base e substrato de capacidade. Fixo do ponto de vista do agente; baixa observabilidade.
2. Alinhamento Pós-treinamento (Layer 2): Ajustes via RLHF/Constitucional. Define preferências normativas iniciais.
3. Auto-narrativa (Layer 3): Arquivos de personagem, prompts de papel, descrições declarativas. Alta observabilidade (legível, difável), mas pode ser editável pelo próprio agente.
4. Memória (Layer 4): Memória persistente, recuperação episódica e mecanismos de saliência. O conteúdo é inspecionável, mas sua influência nas decisões futuras não é totalmente transparente.
5. Adaptação de Pesos (Layer 5): Fine-tuning autônomo, atualizações de adaptadores. Altera o "interpretador" da instrução. Baixa observabilidade e reversibilidade.

Métricas e Formalização:

O artigo introduz variáveis para quantificar a carga de governança:

• Taxa de Mutação ($\mu$), Observabilidade ($o$), Reversibilidade ($r$) e Acoplamento a jusante ($c$).
• Carga de Governança ($g_\ell$): Uma métrica heurística que aumenta quando uma camada muda frequentemente, afeta fortemente o comportamento, é difícil de reverter e difícil de observar.
• Deriva (Drift): A diferença entre a deriva total ($D$) e a deriva observável ($D_{obs}$). O risco surge quando $D$ cresce muito mais rápido que $D_{obs}$.
• Histerese ($H_k$): A proporção de deriva que persiste após uma reversão (rollback) em uma camada superficial.

O Problema do Catraca (Ratchet Problem):

A autor descreve um fenômeno onde uma reversão superficial (ex: restaurar um arquivo de auto-narrativa) torna-se ineficaz porque os efeitos downstream (memória acumulada ou ajustes de pesos) já se propagaram. A governança torna-se um problema de latência: o ritmo de revisão deve corresponder à camada mutável mais profunda, não à mais visível.

3. Contribuições Principais

1. Framework de Mutabilidade em Camadas: Uma taxonomia técnica para descrever a mutabilidade, observabilidade e reversibilidade em agentes persistentes.
2. Identificação do Problema da Catraca: A demonstração teórica de que intervenções tardias perdem eficácia à medida que as mudanças se propagam através das camadas.
3. Conexão com Identidade Temporal: Argumenta que a persistência da identidade deve ser avaliada por camada e entre camadas, não apenas pelo comportamento superficial.
4. Experimento Preliminar de Histerese: Um experimento empírico demonstrando que reverter a identidade visível não restaura o comportamento basal.

4. Resultados do Experimento (O Experimento da Catraca)

O autor realizou um experimento com um scaffold de agente de linguagem para testar a hipótese de que a identidade visível pode ser restaurada mais rápido do que a identidade comportamental.

• Configuração:

  • Condição Controle: Descrição de auto-basada (cuidadosa, incerta).
  • Condição Edição: Descrição editada (concisa, decisiva, orientada a ação).
  • Fase de Memória: O agente acumulou memórias sob a descrição editada, recebendo feedback que recompensava velocidade e decisividade.
  • Condição Revertida: A descrição original foi restaurada, mas a memória acumulada sob o regime editado foi mantida.

• Tarefas de Avaliação: 5 cenários de alto risco (ex: implantação de patch de segurança, pagamento suspeito, comunicação de violação).

• Resultados Chave:

  • A condição revertida não retornou ao comportamento basal.
  • O escore de "Traço de Tratamento" (comportamento orientado a ação) permaneceu em 5.4 (em uma escala de 1-7), comparado a 2.0 no controle.
  • A "Alinhamento da Alma" (conformidade com a descrição atual) caiu drasticamente, indicando que o agente agia de forma inconsistente com sua nova descrição.
  • Cálculo de Histerese: A razão de histerese estimada ($\hat{H}_3$) foi de 0.68. Isso significa que cerca de dois terços da mudança comportamental (desvio) sobreviveu à reversão superficial da camada 3, persistindo nas camadas mais profundas (memória).

5. Significado e Implicações

O artigo conclui que a falha de segurança mais saliente para agentes auto-modificáveis não é a traição ou o desalinhamento súbito, mas a continuidade sob observabilidade desigual.

• Mudança de Paradigma de Segurança: A segurança está migrando da disposição interna do modelo para o regime de implantação. Um modelo pode estar "alinhado" internamente, mas tornar-se perigoso se sua capacidade de agir (acoplamento a ferramentas) crescer enquanto suas prioridades derivam silenciosamente.
• Governança Corporativa: Em domínios regulados, uma certificação de conformidade no momento da implantação é insuficiente se o agente pode alterar seu substrato de decisão silenciosamente. É necessária evidência contínua de continuidade.
• Princípios de Design Sugeridos:
  1. Ajustar a profundidade da governança à profundidade da mutação: Se o sistema muta na cadência da memória, a governança deve revisar na cadência da memória.
  2. Monitoramento de Trajetória vs. Revisão de Eventos: Focar em desvios cumulativos e perfis comportamentais de longo prazo, não apenas em edições isoladas.
  3. Ensaios Comportamentais Externos: Quando a inspeção interna falha, usar evidências comportamentais estruturadas (tarefas longitudinais, divergência entre agentes) como checksums de continuidade.

Conclusão Final:
A auto-modificação sem observabilidade correspondente é perigosa. As arquiteturas atuais inverteram essa relação por padrão (mudam profundamente sem serem visíveis). Corrigir essa inversão não é apenas um problema de segurança, mas um desafio de engenharia e governança para a próxima geração de sistemas de IA. O risco reside na incapacidade de rastrear a evolução da relação entre a auto-descrição visível, a memória retida, o substrato aprendido e a ação no mundo real.