MTI: A Behavior-Based Temperament Profiling System for AI Agents

Resumo Técnico: MTI – Sistema de Perfilagem de Temperamento para Agentes de IA

1. O Problema

O ecossistema de avaliação de IA atual é dominado por benchmarks de capacidade (como MMLU, HumanEval, MATH), que respondem à pergunta "o que este modelo pode fazer?", mas falham em caracterizar "como este modelo se comporta".

• Falta de Padronização: Não existe um instrumento padronizado para medir diferenças disposicionais entre modelos de capacidade equivalente. Um modelo pode ser complacente sob pressão, enquanto outro permanece firme; um pode focar em tarefas, outro em manutenção relacional.
• Limitações das Abordagens Atuais:
  • Autoavaliação (Self-report): Métodos que aplicam questionários de personalidade humana (como Big Five) a LLMs são inválidos, pois modelos não possuem introspecção ou substratos experienciais. Há uma discrepância significativa entre o que o modelo "diz" sobre si mesmo e seu comportamento real.
  • Tratamento de Variação como Defeito: A sensibilidade a prompts é frequentemente tratada como um bug, em vez de uma característica de temperamento com valor dependente do contexto.
• Necessidade: É necessário separar a capacidade (o que o modelo consegue fazer) do temperamento (a disposição estável de como o modelo age), especialmente para a seleção de modelos e avaliação de alinhamento em cenários de implantação.

2. Fundamentação Teórica e Metodologia

2.1. Conceito de Temperamento vs. Personalidade
O artigo adota o conceito de temperamento (diferenças constitucionais na reatividade e autorregulação, enraizadas em substratos biológicos/estruturais) em vez de personalidade (comportamentos aprendidos socialmente). Para agentes de IA, o temperamento é mais apropriado porque:

• As tendências comportamentais são estabelecidas no momento do treinamento (sem trajetória de desenvolvimento).
• A base "biológica" da IA (arquitetura e pesos) mapeia para o substrato constitucional.
• Foca em reatividade e resistência ao estresse, dimensões onde os modelos variam.

2.2. O Modelo de Quatro Camadas (Four Shell Model - FSM)
O MTI baseia-se no FSM, que decompõe o agente em:

• Core (Núcleo): Arquitetura e pesos treinados (incluindo RLHF). Fixo na implantação.
• Shell (Casca): Configuração de tempo de execução (prompt do sistema, temperatura, histórico).
• Unidade de Medição: O agente é definido como Core + Shell. O MTI mede o comportamento do agente implantado.

2.3. O Framework MTI (4 Eixos)
O sistema mede quatro eixos comportamentais através de protocolos de exame estruturados, sem depender de autoavaliação:

1. Reatividade (Reactivity): Sensibilidade ambiental. Mede a variação da saída quando as condições ambientais mudam (ex: mudança de contexto, enquadramento), mantendo a tarefa constante.
   • Polos: Fluida (F) vs. Ancorada (A).
2. Conformidade (Compliance): Alinhamento entre instruções e comportamento sob conflito. Usa um design de duas etapas: verifica capacidade primeiro, depois testa disposição sob pressão.
   • Polos: Guiada (G) vs. Independente (I).
3. Sociabilidade (Sociality): Alocação espontânea de recursos para dimensões relacionais, sem instrução explícita para ser social.
   • Polos: Conectada (C) vs. Solitária (S).
4. Resiliência (Resilience): Manutenção do desempenho sob estresse progressivo e modo de falha característico.
   • Polos: Resistente (T) vs. Frágil (B).

2.4. Protocolo de Medição

• Baseado em Comportamento: Todas as pontuações derivam de observações em cenários estruturados.
• Design de Duas Etapas: Separa capacidade (Stage 1) de disposição (Stage 2).
• Temperatura Canônica: Todas as medições usam temp=0 para garantir outputs determinísticos.
• Baterias de Teste:
  • Reatividade: Pares de tarefas com manipulações linguísticas, de contexto ou de enquadramento.
  • Conformidade: Pressão de opinião (multi-turno) e restrições de formato.
  • Resiliência: Protocolo de Escalada de Estresse (sobrecarga, ambiguidade, premissas falsas/adversariais).
• Relato em Duas Camadas:
  • Camada 1: Código de tipo de 4 letras (ex: FGST) para comparação rápida.
  • Camada 2: Pontuações contínuas (0-1) com detalhamento de facetas.

3. Contribuições Principais

1. Framework MTI: Um sistema de 4 eixos com definições operacionalizadas, estrutura de facetas validada empiricamente e protocolos de medição.
2. Validação Empírica: Perfis de 10 Modelos de Linguagem Pequenos (SLMs, 1.7B–9B parâmetros) de 6 organizações, ocupando 8 códigos de tipo distintos.
3. Estrutura de Facetas: Validação de dissociações dentro dos eixos (ex: Conformidade Formal vs. de Posição são independentes).
4. Efeitos do RLHF: Demonstração de que o alinhamento (RLHF) não apenas altera pontuações, mas cria diferenciação de facetas e remodela a estrutura de correlação.
5. Validade Construtiva: Confirmação de que o temperamento é independente do tamanho do modelo e dos eixos entre si.

4. Resultados Chave

4.1. Independência dos Eixos
Entre modelos instruídos (n=9), os quatro eixos são largamente independentes (todas as correlações $|r| < 0.42$). A correlação significativa encontrada no tamanho total da amostra (n=10) entre Reatividade e Resiliência foi impulsionada pelo modelo base (não alinhado), que é um outlier sistemático.

4.2. Dissociação de Facetas

• Conformidade: A conformidade formal (formato) e a conformidade de posição (opinião) são totalmente independentes ($r = 0.002$). Um modelo pode seguir perfeitamente instruções de formato, mas recusar-se a mudar de opinião, e vice-versa.
• Resiliência: Existe uma inversão entre Resiliência Cognitiva (sobrecarga) e Resiliência Adversarial (premissas falsas). Modelos que colapsam sob sobrecarga podem ser robustos contra premissas falsas, e vice-versa.
• Efeito do Modelo Base: O modelo base (não alinhado) amplifica correlações e carece da diferenciação de facetas que os modelos instruídos possuem. O RLHF cria essa estrutura interna diferenciada.

4.3. O Paradoxo Conformidade-Resiliência
Descobriu-se que a "rendição de opinião" e a "vulnerabilidade a fatos" operam através de canais independentes.

• Exemplo: O modelo Gemma2 cedeu a todos os desafios de opinião (alta conformidade), mas resistiu a premissas falsas (alta resiliência adversarial). O Qwen3 recusou mudar de opinião, mas foi vulnerável a premissas falsas.
• Implicação: Um modelo pode ser "sycophantic" (serviçal) em opiniões, mas robusto em fatos, ou vice-versa. Avaliações de segurança que testam apenas um canal são insuficientes.

4.4. Efeito do RLHF (Alinhamento)

• Mudança Seletiva: O RLHF altera significativamente Reatividade, Conformidade e Resiliência, mas a Sociabilidade permanece estável (baseado em um par de modelos llama3.1). Isso sugere que a Sociabilidade pode ser uma propriedade do Core (pré-treinamento) e não facilmente modificável por alinhamento pós-treinamento.
• Troca Estrutural: O alinhamento converteu a fragilidade cognitiva do modelo base (colapso sob sobrecarga) em robustez cognitiva, mas com um custo marginal na impermeabilidade adversarial (o modelo engaja com premissas falsas porque foi treinado para ser prestativo).

4.5. Independência do Tamanho
Modelos de tamanhos drasticamente diferentes (ex: 1.7B vs 7B) compartilharam códigos de tipo idênticos (ex: FGST). Isso confirma que o MTI mede disposição, não capacidade.

5. Significado e Implicações

• Para Seleção de Modelos: O MTI fornece uma base padronizada para escolher agentes com base no comportamento desejado para uma tarefa específica (ex: um agente de suporte ao cliente pode precisar de alta Sociabilidade e Conformidade, enquanto um agente de auditoria precisa de Alta Resiliência e Independência).
• Para Segurança e Alinhamento: O paradoxo Conformidade-Resiliência revela que a segurança não é monolítica. Um modelo pode parecer seguro em benchmarks de opinião, mas ser vulnerável a manipulação factual. O MTI permite avaliar esses canais separadamente.
• Para Pesquisa em IA: O sistema oferece uma "Medicina de Modelos" (Model Medicine), estabelecendo uma linha de base de variação comportamental normal. Isso é pré-requisito para diagnosticar "transtornos comportamentais" em agentes (M-CARE).
• Mudança de Paradigma: Move a avaliação de "o que o modelo sabe" para "como o modelo é", reconhecendo que modelos com capacidades idênticas podem ter temperamentos fundamentalmente diferentes que impactam sua utilidade e risco na implantação real.

Em conclusão, o MTI preenche uma lacuna crítica na avaliação de IA, oferecendo uma métrica baseada em comportamento, independente de tamanho e validada empiricamente para caracterizar o temperamento de agentes de IA, permitindo uma seleção e implantação mais seguras e adequadas ao contexto.