CoPA: Benchmarking Personalized Question Answering with Data-Informed Cognitive Factors

Resumo Técnico: CoPA

1. O Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado um potencial notável em Resposta a Perguntas (QA), a avaliação da personalização permanece um gargalo crítico. As abordagens existentes para avaliar respostas personalizadas geralmente caem em três categorias limitadas:

1. Métricas Tradicionais de NLP: Focam na sobreposição lexical (ex: BLEU, ROUGE), falhando em capturar a adaptação real às necessidades do usuário.
2. Heurísticas Manuais: Comparam a resposta gerada com o histórico do usuário, mas ainda dependem de similaridade superficial de palavras, não capturando a intenção cognitiva profunda.
3. Paradigma "LLM como Juiz": Frequentemente utilizam prompts genéricos ou regras manuais que carecem de critérios específicos e validação baseada em dados para uma avaliação rigorosa.

A falta de um padrão discriminativo e fundamentado em dados para medir o alinhamento entre a saída do modelo e as preferências cognitivas individuais do usuário impede o avanço robusto na área de QA personalizada.

2. Metodologia

Os autores propõem uma abordagem baseada em dados para minerar fatores de personalização a partir de um fenômeno real: a Divergência de Preferências Comunidade-Indivíduo (CIPD - Community-Individual Preference Divergence).

• Fonte de Dados: O estudo utiliza dados do StackExchange, uma plataforma de Q&A com múltiplos domínios. O CIPD ocorre quando a resposta "aceita" pelo usuário (sua preferência individual) difere da resposta "top-votada" (consenso da comunidade), mesmo que ambas sejam de alta qualidade.

• Extração de Racionalidade:

  1. Um conjunto de dados CIPD foi curado, filtrando usuários com histórico de interações.
  2. LLMs foram utilizados para inferir as razões cognitivas (rationales) por trás da escolha do usuário, analisando o histórico do usuário e o par de respostas contrastantes (aceita vs. top-votada).
  3. As razões extraídas foram agregadas e refinadas por especialistas (psicólogos e educadores) para distilar seis fatores cognitivos fundamentais que governam a personalização:
     1. Confiança Cognitiva (CT): Alinhamento com o limiar de credibilidade do usuário no domínio.
     2. Ancoragem Situacional (SA): Calibração precisa ao contexto imediato e problema específico.
     3. Consistência de Esquema (SC): Integração coerente com o conhecimento prévio e modelos mentais do usuário.
     4. Gestão da Carga Cognitiva (CLM): Complexidade da resposta adaptada à capacidade cognitiva do usuário.
     5. Andaimagem Metacognitiva (MS): Suporte estrutural que fomenta o pensamento crítico e a autorregulação.
     6. Ressonância Afetiva e Motivacional (AMR): Alinhamento com o estado emocional e orientação motivacional do usuário.

• Construção do Benchmark (CoPA):

  • Foi criado o CoPA, um benchmark contendo 1.985 perfis de usuários de diversos domínios.
  • Cada perfil é quantificado nos seis fatores acima.
  • A avaliação utiliza uma escala Likert de 3 pontos (0: Incompatível, 1: Parcial, 2: Total) para medir o alinhamento entre a resposta gerada pelo modelo e o perfil cognitivo do usuário.

3. Contribuições Principais

1. Descoberta de Fatores Cognitivos: Utilização de LLMs para explorar sistematicamente o fenômeno CIPD e extrair seis fatores cognitivos interpretáveis e fundamentados em dados reais de interação.
2. Benchmark CoPA: Introdução de um novo padrão de avaliação factor-driven (orientado a fatores) que permite uma avaliação quantitativa e granular do alinhamento entre conteúdo gerado e preferências cognitivas.
3. Análise Empírica Abrangente: Estabelecimento de linhas de base (baselines) e realização de análises quantitativas e qualitativas extensivas, fornecendo uma fundação sólida para pesquisas futuras.

4. Resultados

Os experimentos no benchmark CoPA revelaram os seguintes pontos-chave:

• Eficácia dos Fatores: A avaliação baseada nos fatores distilados superou significativamente as métricas tradicionais (Jaccard, Inclusão) e abordagens de "LLM como Juiz" diretas ou com Chain-of-Thought (CoT). O método proposto reduziu a taxa de empates (Tie Rate) para 18-26% e aumentou a precisão na distinção entre respostas aceitas e top-votadas para mais de 50%, demonstrando maior capacidade de discriminar preferências sutis.
• Validação de Generalização: Ao aplicar os fatores em outros benchmarks externos (UPGC-QA e LaMP-QA), observou-se ganhos consistentes e significativos no desempenho de modelos base, confirmando que os fatores são generalizáveis para novos cenários.
• Desempenho de Modelos Personalizados:
  • A estratégia Profile-Personalization (que comprime o histórico em perfis estruturados) obteve o melhor desempenho entre as abordagens testadas, superando tanto a linha de base sem personalização quanto as respostas "top-votadas" da comunidade.
  • Modelos como o Qwen3-8B superaram o GPT-4o-mini neste benchmark, especialmente quando combinados com perfis estruturados.
  • Desafios Identificados: Os modelos tiveram desempenho superior em domínios de "Engenharia e Ferramentas", mas struggled em "Ciência e Teoria", indicando que a personalização em cenários de alto raciocínio e carga cognitiva ainda é um desafio.
  • Fator Crítico: A "Andaimagem Metacognitiva" (MS) foi a dimensão onde todos os modelos obtiveram as pontuações mais baixas, revelando a dificuldade atual em induzir reflexão crítica em tarefas generativas.

5. Significância

O trabalho CoPA representa um avanço paradigmático na avaliação de IA generativa personalizada:

• Mudança de Foco: Transita da avaliação baseada em similaridade lexical para uma avaliação baseada em fatores cognitivos e psicológicos.
• Validação Científica: Oferece uma metodologia rigorosa que conecta a teoria da aprendizagem e psicologia cognitiva com a engenharia de LLMs.
• Direção Futura: Identifica lacunas específicas (como a gestão de carga cognitiva e suporte metacognitivo) que devem ser o foco de futuras pesquisas para criar assistentes de IA verdadeiramente adaptativos e eficazes.
• Reprodutibilidade: O código e o benchmark estão disponíveis publicamente, permitindo que a comunidade científica avance sobre uma base comum e validada.

Em suma, o CoPA fornece as ferramentas e a fundamentação teórica necessárias para medir e melhorar a capacidade dos LLMs de entender e atender às necessidades cognitivas individuais dos usuários, indo além da simples geração de texto.