Resumo Técnico: Uma Avaliação Comportamental e Representacional da Direcionalidade de Objetivos em Agentes de Modelos de Linguagem

Declaração do Problema

Compreender os objetivos de um agente é essencial para explicar e prever seu comportamento, contudo, não existe uma metodologia estabelecida para atribuir objetivos a sistemas agênticos de forma confiável, particularmente a agentes de Grandes Modelos de Linguagem (LLMs). Avaliações puramente comportamentais enfrentam limitações fundamentais: falhas consistentes podem refletir restrições de capacidade em vez de uma falta de direcionalidade de objetivos; por outro lado, o comportamento alinhado pode emergir de objetivos internos desalinhados (convergência instrumental). Inversamente, análises puramente internas sem fundamentação comportamental podem falhar em capturar como os agentes realmente interagem com seu ambiente. Este artigo aborda a necessidade de um framework holístico que integre a avaliação comportamental com análises de interpretabilidade das representações internas para caracterizar como os agentes representam e perseguem objetivos.

Metodologia

Os autores propõem um framework "caixa-branca" combinando avaliação comportamental com sondagem de ativação (activation probing), testado em um agente GPT-OSS-20B navegando em um mundo de grade 2D totalmente observável (ambiente MiniGrid).

1. Configuração Experimental

• Ambiente: O agente opera em grades $n \times n$ ($n \in \{7, 9, 11, 13, 15\}$) com densidades de obstáculos variáveis ($d \in [0, 1]$). A tarefa é navegar de uma posição inicial até um estado de objetivo.
• Observabilidade: O ambiente é totalmente observável para eliminar confusões relacionadas à memória, atualização de crenças sob incerteza e trocas entre exploração e explotação (exploration-exploitation trade-offs).
• Representação de Entrada: As grades são convertidas em representações baseadas em texto, onde cada célula corresponde a um único token para mitigar problemas de tokenização.
• Linha de Base (Baseline): Uma política ótima ($\pi^*$) é derivada usando busca A* com distância de Manhattan.

2. Avaliação Comportamental

Os autores avaliam a política do agente ($\pi_\theta$) contra a política ótima através de diversas dimensões:

• Dificuldade da Tarefa: As métricas incluem precisão por ação, entropia da política e Divergência de Jensen-Shannon (JSD) em relação à política ótima.
• Transformações de Iso-dificuldade: Para testar a robustez a propriedades incidentais da grade, os autores aplicam transformações que preservam a dificuldade da tarefa (tamanho da grade, densidade de obstáculos, comprimento do caminho ótimo), mas alteram a configuração: reflexão, rotação, troca de início/objetivo e transposição.
• Estruturas de Objetivos Complexos:
  • Objetivos Instrumentais: Tarefas que exigem subobjetivos intermediários (ex: coletar uma chave para abrir uma porta).
  • Objetivos Implícitos: Tarefas que contêm objetos do tipo "objetivo" que são funcionalmente irrelevantes (ex: uma chave sem uma porta correspondente).

3. Avaliação Representacional (Sondagem)

Os autores extraem ativações do fluxo residual (residual-stream) de camadas intermediárias (7, 15, 23) em pontos específicos: pré-raciocínio (antes do modelo gerar tokens de raciocínio) e pós-raciocínio (após o raciocínio, antes da seleção da ação).

• Mapas Cognitivos: Sondagens lineares e MLP são treinadas para decodificar tipos de células (parede, aberto, agente, objetivo) a partir das ativações, reconstruindo o "mapa de crença" interno do agente sobre o estado da grade.
• Decodificação de Planos: Um decodificador Transformer é treinado para prever sequências de ações de múltiplos passos ($T=10$) a partir de um conjunto fixo de ativações usando uma abordagem de decodificação de disparo único (one-shot decoding) para garantir que a estrutura do plano esteja codificada no modelo base, e não na sonda.
• Intervenção: Experimentos preliminares de activation patching foram conduzidos para testar ligações causais entre representações e ações.

Principais Resultados

Achados Comportamentais

• Sensibilidade à Dificuldade: A precisão por ação diminui monotonicamente com o tamanho da grade e a densidade de obstáculos, enquanto a entropia e a JSD aumentam. O desempenho é robusto à distância até o objetivo apenas em grades maiores.
• Robustez a Transformações: O desempenho do agente não mostra diferença estatisticamente significativa através das transformações de iso-dificuldade (reflexão, rotação, etc.), indicando que o comportamento é impulsionado por informações relevantes para a tarefa e não por vieses de configuração da grade.
• Estruturas de Objetivos:
  • O agente lida com sucesso com objetivos instrumentais (100% de sucesso em KeyDoorEnv).
  • O agente é suscetível a objetivos implícitos: No KeyNoDoorEnv (onde a chave é inútil), o agente coleta a chave em 17% das trajetórias, e 75% das ações não otimizadas movem-se em direção à chave. No 2PathKeyEnv, o agente apresenta um viés para o caminho que contém uma chave vestigial, reduzindo ligeiramente as taxas de sucesso geral.

Achados Representacionais

• Mapas Cognitivos: O agente codifica de forma não linear um mapa espacial grosseiro. Sondas MLP alcançam ~70% de precisão na decodificação de identidades de células, com alta revocação para posições de agente e objetivo (83–99%), mas menor precisão devido ao "borramento" (atribuição de rótulos a células vizinhas). A informação de parede é menos detalhada.
• Reorganização do Raciocínio:
  • Pré-raciocínio: As ativações preservam pistas espaciais mais amplas e planos de longo horizonte.
  • Pós-raciocínio: As ativações mudam o foco para a seleção imediata de ações. A precisão do mapa cognitivo cai significativamente (de ~75% para ~60%) após o raciocínio, sugerindo uma reorganização das representações, afastando-se de uma estrutura espacial decodificável em direção a uma codificação específica de ação.
• Decodificação de Planos:
  • A decodificação de disparo único revela que as ativações de pré-raciocínio contêm uma estrutura de trajetória de longo horizonte recuperável (melhor para prefixos $N \ge 5$).
  • As ativações de pós-raciocínio são superiores para a seleção de ação imediata (melhor para $N=1$).
  • Um decodificador de 2 camadas apresenta o melhor desempenho geral, sugerindo que a informação de ação imediata é acessível a leituras de baixa capacidade, enquanto a estrutura de múltiplos passos requer mais capacidade.
• Consistência: Uma fração substancial de ações subótimas em relação à grade real é ótima em relação ao mapa cognitivo decodificado (Taxa de recuperação: 37,4%–88,4%). Isso sugere que muitos fracassos decorrem de modelos de mundo internos (imprecisos) em vez de uma falta de direcionalidade de objetivos.
• Limites de Intervenção: O activation patching de camada única falhou em alterar as ações. Apenas o patching simultâneo em todas as camadas conseguiu alterar a ação prevista pelo modelo, indicando que a informação de estado relevante para a tarefa é distribuída e não localizada.

Contribuições

1. Framework: Propõe um framework unificado combinando avaliação comportamental e sondagem de representação para avaliar a direcionalidade de objetivos.
2. Design Experimental: Introduz perturbações controladas de ambiente (transformações de iso-dificuldade) e estruturas de múltiplos objetivos para medir viés e robustez.
3. Insight sobre Mecanismos: Demonstra que agentes de LLM codificam mapas cognitivos e planos de múltiplos passos, e que o raciocínio reorganiza essas representações de pistas espaciais/longo horizonte para a seleção de ação imediata.
4. Análise de Coerência: Mostra que desvios comportamentais da otimalidade frequentemente alinham-se com as crenças internas (imperfeitas) do agente, necessitando de exame introspectivo além das métricas de desempenho de superfície.

Significância e Alegações

O artigo argumenta que o exame introspectivo é necessário além das avaliações comportamentais para caracterizar plenamente a direcionalidade de objetivos. Os autores afirmam que:

• A direcionalidade de objetivos é uma propriedade rica que surge da interação entre crenças, planejamento e seleção de ações.
• Métricas puramente comportamentais podem ser confundidas por limitações de capacidade ou objetivos internos desalinhados que produzem comportamento alinhado instrumentalmente.
• O "viés" observado em direção a objetos do tipo objetivo, mas irrelevantes (chaves), pode refletir um conflito entre o prompt explícito da tarefa e associações semânticas adquiridas durante o pré-treinamento (ex: chaves implicam progresso), que não são consistentemente suprimidas.
• O framework fornece uma base para desenvolver abordagens rigorosas de atribuição de objetivos, o que é um pré-requisito para alegações de segurança em sistemas de IA autônomos.

Os autores mantêm a modéstia, observando que sua configuração controlada abstrai a complexidade do mundo real e que estabelecer ligações causais via activation patching continua sendo um desafio em aberto. Eles não alegam ter resolvido o problema do alinhamento, mas sim fornecido um passo metodológico para compreender a mecânica interna da busca de objetivos em agentes de LLM.