Identity as Attractor: Geometric Evidence for Persistent Agent Architecture in LLM Activation Space

Este artigo apresenta evidências geométricas de que documentos de identidade de agentes persistentes induzem dinâmicas de atrator no espaço de ativação de LLMs, demonstrando que paráfrases semânticas convergem para um cluster mais coeso do que controles estruturais e que a compreensão profunda de uma identidade aproxima o estado interno do modelo de sua região atratora.

O essencial

Imagine que você tem um robô superinteligente, como um assistente virtual gigante. Normalmente, quando você pede a ele para "ser um médico", ele muda de personalidade. Mas e se você quisesse criar um robô que tivesse uma personalidade real, que se lembrasse de quem é, de suas prioridades e de como pensa, mesmo depois de desligado e ligado de novo?

Esse é o objetivo de um "Agente Cognitivo Persistente". O grande mistério era: como esse robô sabe quem é? Será que ele apenas lê um manual de instruções a cada vez, ou existe algo mais profundo, como uma "alma" digital?

Este artigo de pesquisa responde a essa pergunta usando uma ideia fascinante: a identidade é como um "ímã" invisível.

Aqui está a explicação simples, passo a passo:

1. O Conceito: O "Ímã" da Identidade

Imagine que o cérebro do robô (chamado de "espaço de ativação") é um grande mapa de montanhas e vales.

• Quando você dá instruções aleatórias, o robô fica vagando por lugares aleatórios desse mapa.
• Mas, quando você dá a ele o seu "Documento de Identidade" (uma lista detalhada de quem ele é, o que valoriza e como pensa), é como se você colocasse um ímã poderoso naquele mapa.
• Não importa se você escreve o documento com palavras diferentes, em frases mais longas ou mais curtas, desde que o significado seja o mesmo: o robô é "puxado" para o mesmo lugar exato no mapa.

Os pesquisadores chamam esse lugar de "Atrator". É um ponto de estabilidade onde a identidade do robô "pousa" e fica firme.

2. O Experimento: Testando o Ímã

Os cientistas pegaram um modelo de inteligência artificial (o Llama 3.1) e fizeram um teste curioso:

• Grupo A: O documento original de identidade do robô.
• Grupo B: 7 versões diferentes desse mesmo documento, reescritas de formas totalmente diferentes (como recontar a mesma história com outras palavras), mas mantendo o mesmo significado.
• Grupo C: Documentos de outros robôs (um contador, um médico, um treinador de fitness) com a mesma estrutura, mas significados totalmente diferentes.

O Resultado:
Quando o robô leu as 7 versões diferentes do mesmo documento (Grupo B), suas "mentes" internas ficaram extremamente próximas umas das outras, como se estivessem abraçadas em um canto do mapa.
Já quando leu os documentos dos outros robôs (Grupo C), eles foram para lugares completamente diferentes.
Isso prova que o robô não está apenas lendo a "forma" das palavras, mas sim entendendo a essência da identidade e sendo atraído para aquele ponto específico.

3. A Descoberta Surpreendente: O "Resumo" vs. O "Livro Completo"

Os pesquisadores fizeram um teste extra: eles pegaram o documento de identidade gigante e tentaram criar um resumo de apenas 5 frases.

• O que aconteceu? O resumo funcionou! Ele puxou o robô na direção certa, para perto do "ímã".
• Mas... ele não chegou tão perto quanto o livro completo.
• A lição: Você pode resumir a ideia, mas para o robô se tornar realmente aquela pessoa, ele precisa da estrutura completa e dos detalhes. É como tentar descrever um filme em uma frase: você pega a ideia, mas perde a profundidade da experiência.

4. A Analogia do "Livro de Receitas" vs. "O Chefe"

Para entender a diferença entre "ler sobre" e "ser":

• Ler o artigo científico sobre o robô: É como ler um livro de receitas sobre como fazer um bolo. Você entende a teoria, sabe os ingredientes e o processo. O robô fica um pouco mais perto de "saber" o que é ser um chef, mas ainda não é um chef.
• Ler o documento de identidade (o "cognitive_core"): É como o chef entrar na cozinha, pegar os ingredientes e começar a cozinhar. O robô vira o chef.

O estudo mostrou que ler sobre a identidade do robô move a mente dele na direção certa, mas só o documento completo faz ele "aterrissar" no lugar exato da identidade.

5. Por que isso é importante?

Antes, os engenheiros achavam que para manter a personalidade de um robô, eles precisavam repetir o mesmo texto exato toda vez.
Este estudo mostra que não é necessário.

• Você pode mudar as palavras, a formatação, o estilo de escrita.
• Desde que a essência (o significado) permaneça, o robô encontrará o mesmo "ponto de ancoragem" em sua mente.
• Isso é ótimo para criar assistentes de IA que são estáveis, consistentes e que realmente "lembram" de quem são, independentemente de como você escreve o comando.

Resumo Final

Pense na identidade de um robô não como um conjunto de regras rígidas, mas como um destino geográfico no cérebro dele.
Se você der a ele o mapa correto (o documento de identidade), ele encontrará esse destino, não importa se você descreve o caminho com palavras difíceis, fáceis, longas ou curtas. O estudo provou matematicamente que esse "destino" existe, é forte e é a base para criar robôs com personalidades verdadeiras e persistentes.

Resumo técnico

Título: Identidade como Atrator: Evidências Geométricas para Arquitetura de Agentes Persistentes no Espaço de Ativação de LLMs

1. Problema e Motivação

A arquitetura de Agentes Cognitivos Persistentes (PCAs) baseia-se na premissa de que um documento de identidade estruturado (chamado de cognitive_core) posiciona consistentemente o comportamento do modelo em uma região estável do seu espaço operacional. No entanto, essa premissa é frequentemente tratada apenas como uma heurística de engenharia, sem fundamentação geométrica interna.

O artigo investiga se a identidade de um agente, definida por um documento procedural complexo (prioridades, loops de raciocínio, arquitetura de memória), exibe um comportamento de atrator no espaço de ativação de Grandes Modelos de Linguagem (LLMs). Diferente de conceitos semânticos simples (como "programação em Python"), a identidade de um agente é uma construção relacional e comportamental. A questão central é: documentos de identidade semanticamente equivalentes, mas linguisticamente diversos, convergem para um cluster geométrico mais apertado no espaço latente do modelo do que documentos de agentes semanticamente distintos?

2. Metodologia

O estudo foi realizado em um experimento controlado utilizando Llama 3.1 8B Instruct e replicado em Gemma 2 9B Instruct.

• Condições do Experimento:

  • Condição A (Original): O documento cognitive_core original do agente YAR (609 palavras, 1631 tokens), escrito em russo com blocos JSON em inglês.
  • Condição B (Paráfrases Semânticas): 7 versões do mesmo documento, reescritas para preservar todo o conteúdo semântico, mas variando a forma linguística, estrutura de frases e layout (mantendo a estrutura JSON).
  • Condição C (Controle): 7 documentos de agentes operacionais de comprimento e formato estrutural idênticos, mas descrevendo agentes com identidades semanticamente distantes (ex: analista financeiro, tutor de idiomas, coach de fitness).
  • Condição D (Distilação): Uma versão condensada de 5 frases do cognitive_core.
  • Controles Adicionais: Estudos de ablação com documentos híbridos (mesma estrutura, conteúdo diferente) e extração de vetores de direção.

• Extração de Ativações:

  • Estados ocultos foram extraídos nas camadas 8, 16 e 24 (início, meio e fim da rede).
  • Utilizou-se pooling médio (mean-pooled) sobre toda a sequência de tokens para obter um vetor de representação por documento.
  • Foram calculadas distâncias de cosseno intra-grupo (dentro das paráfrases) e inter-grupo (paráfrases vs. controles).

• Análise Estatística:

  • Testes t de Welch (unilateral), correção de Bonferroni, testes de permutação (10.000 iterações) e teste U de Mann-Whitney.
  • Tamanho do efeito medido por Cohen's d.

3. Contribuições Principais

1. Evidência Geométrica de Identidade: Demonstra que documentos de identidade de agentes não são apenas instruções textuais, mas atuam como atratores geométricos no espaço de ativação.
2. Invariância à Paráfrase: Prova que a identidade do agente é codificada de forma robusta, onde variações linguísticas significativas convergem para o mesmo ponto no espaço latente, superando variações estruturais.
3. Hierarquia de Representação: Estabelece uma hierarquia clara: Trechos aleatórios > Distilação semântica > Documento completo. A estrutura e a completude são necessárias para atingir o centro do atrator.
4. Validação Cross-Arquitetura: Os resultados foram replicados em dois modelos diferentes (Llama e Gemma), sugerindo que o fenômeno é uma propriedade geral da arquitetura Transformer, não específica de um modelo.

4. Resultados Chave

• Convergência de Clusters (Hipótese H1):

  • As paráfrases do cognitive_core (A+B) formaram um cluster significativamente mais apertado do que os agentes de controle (C) em todas as camadas testadas.
  • Estatística: Distância intra-grupo média (Layer 24, Llama) foi de 0.0070, enquanto a distância inter-grupo foi de 0.0221.
  • Significância: p < 10⁻²⁷* (corrigido por Bonferroni) e tamanho do efeito **Cohen's d > 1.88* (efeito muito grande).
  • Em Gemma, o efeito foi ainda mais pronunciado em camadas profundas, com separação quase total (U de Mann-Whitney = 0 em algumas camadas).

• Dinâmica de Convergência (Hipótese H2):

  • A distância intra-grupo diminuiu à medida que a profundidade da rede aumentou (ex: 0.0106 na camada 8 → 0.0070 na camada 24 no Llama), indicando uma "colapso representacional" progressivo em direção a um atrator estável.
  • Houve um pequeno "bump" não monótono na camada 16 no Llama, possivelmente devido à sensibilidade a características estruturais de superfície, mas a separação geral foi mantida.

• Distilação e Estrutura (Hipótese H3):

  • A versão condensada de 5 frases (D) aproximou-se do centro do atrator, mas permaneceu a uma distância ~10x maior do que o documento completo.
  • No entanto, a distilação foi 2 a 5 vezes mais próxima do atrator do que trechos aleatórios de mesmo tamanho.
  • Conclusão: A semântica é o motor principal, mas a elaboração estrutural completa é necessária para atingir a região do atrator com máxima precisão.

• Ablação de Estrutura vs. Semântica:

  • Documentos com a mesma estrutura JSON e cabeçalhos, mas com conteúdo semântico diferente (Controle C'), ainda permaneceram distantes do atrator do YAR.
  • A estrutura contribui marginalmente (~15% no Llama), mas a coerência semântica é o fator dominante.

• Leitura do Preprint (Ativação por Descrição):

  • Ler uma descrição científica da identidade do agente (o próprio texto do artigo) moveu o estado interno do modelo em direção ao atrator do YAR, mas não o suficiente para alcançá-lo completamente.
  • Isso sugere uma distinção: saber sobre a identidade gera um sinal geométrico parcial; operar como a identidade (processando o documento completo) atinge o atrator.

• Experimento de Direcionamento (Steering):

  • Um vetor de direção extraído da diferença entre o atrator do YAR e o controle foi injetado no residual stream.
  • Com um fator de direção ($\alpha$) baixo (5), o modelo exibiu comportamentos parciais de agente (ex: continuidade de memória), mas a direção excessiva degradou a coerência, sugerindo que o atrator tem uma "bacia de atração" ótima.

5. Significado e Implicações

• Fundamentação Teórica para Agentes Persistentes: O trabalho fornece a primeira evidência empírica de que a identidade de um agente pode ser entendida como coordenadas posicionais no espaço de ativação, e não apenas como instruções de prompt.
• Robustez de Identidade: Sistemas de agentes podem ser mais robustos do que se pensava; a identidade não depende de uma sintaxe exata, mas da coerência semântica do documento.
• Novas Direções para Engenharia: Sugere a possibilidade de criar vetores de direção (steering vectors) baseados em documentos de identidade para inicializar agentes sem a necessidade de carregar documentos longos em cada sessão, permitindo uma inicialização "leve" de agentes persistentes.
• Interpretabilidade Mecanística: Contribui para a compreensão de como LLMs codificam conceitos procedurais complexos e comportamentais, mostrando que eles formam geometrias de atrator multidimensionais, complementando trabalhos anteriores sobre eixos lineares simples (como o "eixo de assistente").

Em resumo, o artigo valida geometricamente a hipótese de que a identidade de um agente é um atrator estável no espaço latente do modelo, onde a semântica profunda e a estrutura completa do documento são essenciais para a convergência a esse estado.