Resumo Técnico: Modelagem de Comportamentos Complexos em Modelos de Visão-Linguagem

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) são cada vez mais implantados em cenários de interação social, como acompanhamento e suporte emocional, surge uma necessidade crítica de compreender e controlar seu comportamento sob condições de personalidade complexas. Embora pesquisas existentes tenham explorado extensivamente o condicionamento de personalidade em Modelos de Linguagem (LLMs) apenas de texto, seus efeitos em tarefas multimodais e relacionadas à visão permanecem subexplorados. Além disso, as abordagens atuais frequentemente tratam a personalidade como uma restrição estática e global aplicada antes do início do diálogo, falhando em considerar a natureza dinâmica das interações do mundo real, onde os requisitos de personalidade podem evoluir ou mudar dentro de uma única conversa. Este artigo aborda a lacuna na compreensão de como o condicionamento explícito de personalidade influencia o comportamento dos MLLMs, o desempenho em tarefas downstream e a capacidade do modelo de lidar com composições de múltiplos traços e alternância dinâmica.

Metodologia

Os autores introduzem um framework de avaliação sistemática para o condicionamento de personalidade em MLLMs, utilizando dois modelos base: LLaVA-v1.6-7B e Qwen2.5-VL-7B. O estudo emprega dois métodos de indução baseados em prompts: PERSONALITY PROMPTING (P2), que mapeia traços para descrições de linguagem natural estruturadas, e BIG5-SCALER, que codifica traços do Big Five com valores de intensidade.

A pesquisa investiga três cenários distintos:

1. Indução de Personalidade Única: O modelo é condicionado a um único traço do Big Five (Abertura, Conscienciosidade, Extroversão, Amabilidade ou Neuroticismo) em níveis altos ou baixos via prompts de sistema.
2. Indução de Multi-Personalidade: Os autores compõem múltiplos traços de personalidade não conflitantes em um prompt unificado usando um LLM auxiliar para gerar comportamentos de personalidade compostos. Eles priorizam combinações com tendências comportamentais alinhadas para evitar conflitos de sinal.
3. Alternância de Personalidade Durante a Conversa: O modelo é induzido com uma personalidade inicial, participa de um diálogo de múltiplos turnos e, em seguida, é instruído a mudar para uma configuração de personalidade diferente dentro da mesma conversa contínua. Isso simula mudanças dinâmicas em restrições de personalidade.

O desempenho é avaliado através de:

• Avaliação de Personalidade: Utilizando o Inventário Big Five (BFI) e os instrumentos psicométricos IPIP-NEO para verificar a indução de traços.
• Tarefas Multimodais Downstream: Legenda de imagens (nos datasets DOCCI e COCO usando métricas BLEU-4, METEOR, CAPTURE e reconhecimento de objetos/relações) e Visual Question Answering (VQA) em sete benchmarks (CCBench, HallusionBench, MathVista, MMBench, MMMU, MMStar, SEED-Bench).

Principais Resultados

Indução de Personalidade Única

• Indução de Traço: Métodos baseados em prompts deslocam efetivamente as pontuações do modelo ao longo das dimensões alvo (ex: alta Conscienciosidade aumenta as pontuações de C). No entanto, observa-se um acoplamento cross-trait sistemático; ajustar uma dimensão frequentemente modula traços relacionados (ex: aumentar a Extroversão também eleva a Abertura e a Amabilidade).
• Desempenho em Tarefas:
  • Legenda de Imagem: O condicionamento de personalidade geralmente melhora o desempenho sobre o baseline. Alta Conscienciosidade, Extroversão e Abertura geram legendas mais completas e estruturadas, melhorando o BLEU-4 e a cobertura semântica.
  • Visual Question Answering (VQA): O condicionamento frequentemente prejudica o desempenho em tarefas que exigem raciocínio preciso e detecção de alucinação. Por exemplo, a alta Extroversão reduz significativamente o qACC do HallusionBench (de 40.6 para 14.1), provavelmente porque estilos expressivos conflitam com as respostas conservadoras e fundamentadas em evidências exigidas por esses benchmarks. Inversamente, configurações de baixa intensidade costumam mitigar essa degradação.

Indução de Multi-Personalidade

• Composição de Traços: Modelos podem modelar conjuntamente múltiplos traços, embora a força de traços individuais seja frequentemente levemente moderada em comparação com a indução de traço único devido a efeitos de balanceamento.
• Desempenho em Tarefas:
  • Legenda de Imagem: Configurações de múltiplos traços superam consistentemente o baseline não condicionado e frequentemente superam as configurações de traço único, demonstrando melhor qualidade expressiva e estabilidade (ex: menor variância nos scores de CAPTURE).
  • VQA: Combinações de múltiplos traços levam a um declínio moderado na precisão geral em relação ao baseline. No entanto, os resultados revelam efeitos de superposição e cancelamento. Certas combinações podem compensar fraquezas encontradas em configurações de traço único (ex: combinar baixa Conscienciosidade e baixa Abertura melhora o desempenho no MMMU em comparação ao baseline).

Alternância de Personalidade Durante a Conversa

• Adaptação Dinâmica: Modelos podem alternar personalidades no meio da conversa, mas a força expressa da nova personalidade é geralmente reduzida em comparação com a indução de rodada única. Isso indica efeitos residuais, onde o estado de personalidade anterior influencia parcialmente a nova configuração.
• Desempenho em Tarefas:
  • Legenda de Imagem: A alternância de configurações supera o baseline, com níveis de desempenho situados entre os extremos da personalidade inicial e da personalidade alterada, sugerindo uma influência conjunta de ambas as restrições.
  • VQA: A alternância mitiga a severa degradação de desempenho vista em configurações específicas de traço único (ex: alternar de alta para baixa Extroversão recupera o qACC do HallusionBench de 14.1 para ~22.4). O comportamento do modelo reflete um "efeito de balanceamento" em vez de uma sobrescrita completa do estado anterior.

Limitações e Transferibilidade

O estudo destaca que os métodos existentes de indução de personalidade baseados em prompts mostram limitada transferibilidade para ambientes multimodais. Especificamente, o BIG5-SCALER falhou em induzir personalidade no Qwen2.5-VL-7B, e o P2 falhou no LLaVA-v1.6-7B. Além disso, a avaliação de personalidade para modelos multimodais permanece amplamente focada apenas em texto, potencialmente falhando em capturar o escopo total dos comportamentos multimodais.

Significância e Contribuições

Este trabalho fornece a primeira investigação sistemática sobre o condicionamento explícito de personalidade em MLLMs, indo além das restrições estáticas de apenas texto. As principais contribuições são:

1. Avaliação Sistemática: Estabelecimento de um framework que cobre indução de traço único, múltiplos traços e alternância dinâmica de personalidade em contextos multimodais.
2. Insights Comportamentais: Revelação de que a indução de personalidade cria um trade-off: ela aumenta a riqueza descritiva na legenda de imagens, mas pode prejudicar tarefas de raciocínio de alta precisão, como VQA.
3. Dinâmicas Complexas: Demonstração de que o comportamento do modelo em ambientes multimodais é codeterminado pelas restrições de personalidade atuais e anteriores, exibindo efeitos de balanceamento, resíduo e cancelamento durante a composição e alternância de múltiplos traços.
4. Lacuna Metodológica: Identificação da eficácia limitada das estratégias atuais de prompting baseadas em texto em modelos multimodais, ressaltando a necessidade de métodos de indução e avaliação robustos e customizados, desenhados especificamente para MLLMs.

Os autores concluem que o controle de personalidade em MLLMs é complexo e requer estratégias mais robustas para equilibrar a qualidade da interação com o desempenho da tarefa.