Resumo Técnico: Estrutura de Multiagentes Ajustada para Detecção de OCEAN em Narrativas de Vida

1. Definição do Problema

Avaliar com precisão a personalidade a partir de texto é inerentemente difícil porque os traços são latentes, dependentes de contexto e frequentemente expressos através de pistas linguísticas sutis, em vez de palavras-chave explícitas. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam a capacidade de processar contextos textuais extensos, eles sofrem de vieses de "personalidade latente" herdados do pré-treinamento. Confiar em um único modelo frequentemente leva a avaliações inconsistentes, alucinações e inferências distorcidas, particularmente ao analisar narrativas de vida de formato longo, onde a evidência é distribuída e implícita. As abordagens existentes, que variam de modelos baseados em engenharia de atributos a LLMs baseados em prompts, muitas vezes lutam com textos curtos, rotulagem grosseira ou falta de interpretabilidade e fundamentação teórica.

2. Metodologia

Os autores propõem uma Estrutura de Multiagentes Ajustada (Fine-Tuned Multi-Agent Framework) projetada para detectar os cinco grandes traços de personalidade (OCEAN: Abertura, Conscienciosidade, Extroversão, Amabilidade, Neuroticismo) a partir de transcrições de narrativas de vida. A estrutura opera através de uma estrutura hierárquica envolvendo subagentes especializados e um agente juiz.

2.1 Arquitetura de Multiagentes

O sistema emprega 15 subagentes (três para cada um dos cinco traços: Alto, Neutro e Baixo).

• Subagentes: Cada subagente é condicionado a adotar uma perspectiva específica (Alta, Neutra ou Baixa) para um traço específico. Eles realizam classificação binária para determinar se a narrativa exibe o nível específico do traço para o qual foram treinados. Eles emitem uma decisão binária, evidência textual de suporte e um escore de confiança.
• Agente Juiz: Um LLM separado atua como juiz. Ele agrega as saídas (decisões, evidências e escores de confiança) dos três subagentes para um determinado traço, juntamente com a transcrição completa e as definições de facetas específicas do traço. O juiz realiza uma avaliação comparativa para reconciliar sinais conflitantes e gerar uma predição final multiclasse (Alto, Neutro ou Baixo).

2.2 Ajuste Fino (Fine-Tuning) e Condicionamento

Para induzir representações sensíveis à personalidade e mitigar os vieses de pré-treinamento, a estrutura utiliza três mecanismos principais:

1. Ajuste Fino de MLM com Mascaramento Sensível à Emoção: Os subagentes são ajustados utilizando um objetivo de Modelagem de Linguagem Mascarada (MLM) auto-supervisionada em narrativas de vida. Diferente do MLM padrão, 30% dos tokens são mascarados: 15% são palavras emocionais (identificadas via SenticNet) e 15% são palavras não emocionais. Isso força o modelo a internalizar padrões linguísticos emocionais e estruturais associados a níveis específicos de traços.
2. Adaptação LoRA: A Adaptação de Baixo Rank (LoRA) é aplicada às camadas de projeção de consulta, chave, valor e saída do modelo base (Mistral-7B-Instruct). Isso permite um ajuste fino eficiente com aproximadamente 4,2 milhões de parâmetros treináveis por agente, equilibrando o conhecimento pré-treinado com a adaptação específica ao traço.
3. Fundamentação Psicométrica (IPIP-NEO): Os subagentes são orientados por chaves de facetas do IPIP-NEO. Agentes de nível alto recebem âncoras de facetas de chave positiva, agentes de nível baixo recebem âncoras de chave negativa e agentes neutros recebem pistas mistas. Isso fornece uma supervisão detalhada e fundamentada na teoria, garantindo que os agentes foquem em definições comportamentais em vez de pistas genéricas.

2.3 Dados e Implementação

A estrutura é avaliada no conjunto de dados SPAN (St. Louis Personality and Aging Network), consistindo em 1.535 transcrições de entrevistas de narrativas de vida. Pontuações contínuas de verdade fundamental (ground truth) são discretizadas em bins de Alto, Neutro e Baixo usando divisão por tercis. O sistema utiliza o Mistral-7B-Instruct para os subagentes e o Qwen para o modelo juiz, aproveitando a maior capacidade de contexto deste último para agregar evidências distribuídas.

3. Principais Contribuições

O artigo descreve três contribuições primárias:

1. Uma Estrutura de Multiagentes: A introdução de um sistema estruturado onde subagentes de LLM são induzidos a orientações de traços Altas, Baixas e Neutras via ajuste fino de MLM, prompts de função e chaves de facetas IPIP-NEO.
2. Agregação Mediada por Juiz: Um mecanismo onde um modelo juiz reconcilia sinais de traços conflitantes de subagentes especializados, permitindo uma classificação mais precisa do que a inferência de agente único.
3. Avaliação Abrangente: Uma avaliação rigorosa incluindo baselines quantitativos, estudos de ablação, análise de alinhamento semântico e estudos de caso qualitativos para demonstrar como a estrutura infere personalidade e mitiga o viés.

4. Resultados e Análise

4.1 Desempenho Quantitativo

• Comparação com Baseline: A estrutura completa de multiagentes alcançou os melhores escores de macro-F1 para os traços OCEAN, melhorando o desempenho médio em aproximadamente 8% sobre o melhor modelo de agente único (Qwen com Chain-of-Thought).
• Configuração do Modelo: A configuração ideal utilizou o Mistral-7B para os subagentes (eficiente na extração de evidências localizadas a partir de prompts curtos e específicos de facetas) e o Qwen como juiz (capaz de integrar múltiplas saídas com transcrições completas). O uso do Mistral como juiz resultou em um desempenho mais fraco devido às limitações de capacidade de contexto.
• Precisão por Classe: A estrutura teve bom desempenho nas classes Alta e Baixa, mas teve dificuldades com as classes Neutras (ex: 20–28% de precisão), refletindo a dificuldade inerente de identificar expressões moderadas de traços.

4.2 Estudos de Ablação

A remoção de componentes chave degradou significamente o desempenho:

• Sem Chaves IPIP-NEO: Causou a maior queda (15,63% no F1 médio), destacando o papel crítico da fundamentação psicométrica.
• Sem Ajuste Fino de MLM: Resultou em uma queda de 11,30%, confirmando o valor da adaptação específica à tarefa.
• Sem Subagentes: Uma queda de 7,93% confirmou que a especialização por nível de agente melhora a predição.

4.3 Análise Qualitativa e Semântica

• Alinhamento Semântico: A estrutura completa mostrou o maior alinhamento semântico direcional entre as evidências dos subagentes e as chaves de facetas IPIP-NEO. A remoção das chaves de facetas fez com que as margens de alinhamento caíssem ou se tornassem negativas.
• Estudo de Caso: Em um exemplo de Abertura, um baseline de agente único classificou incorretamente uma narrativa pragmática e factual como "Alta Abertura" baseando-se em transições de carreira. A estrutura de multiagentes identificou corretamente a falta de profundidade imaginativa (via agentes Baixo/Neutro) e a natureza pragmática da exploração (via Juiz), resultando em uma classificação correta de "Neutro".

5. Significância e Alegações

O artigo alega que a inferência de personalidade confiável a partir de textos longos e complexos requer tanto decomposição quanto fundamentação psicométrica. A estrutura proposta demonstra que:

• Raciocínio de Multiagentes: Agregar múltiplas perspectivas controladas é superior à inferência de agente único para capturar sinais de traços distribuídos e sutis.
• Mitigação de Viés: Condicionar agentes em funções específicas e fundamentá-los em instrumentos psicométos (IPIP-NEO) mitiga os vieses latentes e as inconsistências de LLMs pré-treinados.
• Interpretabilidade: O design hierárquico fornece saídas explicáveis, onde o raciocínio do juiz é baseado em evidências específicas e definições de nível de faceta, ofereando um método escalável para avaliação de personalidade baseada em texto.

Os autores concluem que, embora a abordagem melhore a robustez e a interpretabilidade, ela permanece limitada pela dificuldade de classificar traços moderados, pela dependência de transcrições clínicas estruturadas e pelos custos computacionais aumentados em comparação com modelos de agente único. O trabalho destina-se a apoiar pesquisas em padrões narrativos e traços cognitivos, não para tomar decisões de alto risco sem supervisão humana.