Resumo Técnico: Persona Non Grata: Gerações Impulsionadas por Personas de LLM em MCQA são Instáveis em Dimensões Distintas

Declaração do Problema

Embora as Gerações Impulsionadas por Personas (PDGs - Persona-Driven Generations) sejam amplamente utilizadas em pesquisa e na indústria — onde Modelos de Linguagem de Grande Escala (LLMs) adotam papéis específicos para completar tarefas — a literatura existente foca primordialmente na estabilidade dessas personas em geração de texto livre (ex: diálogo). Por outro lado, a estabilidade das PDGs em saídas não densas em texto, especificamente em Respostas de Múltipla Escolha (MCQA), permanece subexplorada. Em configurações de MCQA, uma persona é expressa através do desempenho da tarefa (ex: um biólogo respondendo perguntas de biologia) em vez de geração de texto estilístico. Estudos anteriores sugerem que esses ambientes são implicitamente enviesados e imprevisíveis, mas carecem de padronização quanto à escolha de modelos e hiperparâmetros. Este artigo aborda a lacuna na caracterização e quantificação da instabilidade das PDGs de LLM em tarefas de MCQA através de diversos cenários experimentais.

Metodologia

Os autores avaliam quatro famílias de LLMs de código aberto (Llama-3.2-1B, Llama-3.1-8B, Qwen2.5-1.5B, Qwen2.5-7B e Qwen2.5-14B) através de 48 cenários experimentais distintos. Esses cenários são derivados de combinações de três hiperparâmetros:

1. Formato de Prompt de Persona (PPF): Variações em como a persona é introduzida (ex: "barebones" vs. "identitynature").
2. Formato de Prompt de Tarefa (TPF): Variações em como a pergunta é apresentada (ex: "justanswer" vs. "explain-persona").
3. Temperatura ($\tau$): Definida em 0.0, 0.5 e 1.0.

A avaliação utiliza um conjunto de dados composto ($D$) de aproximadamente 5.000 perguntas extraídas de MMLU, Social IQa e NormAd-Eti, cobrindo 10 domínios (ex: Matemática, História, Medicina). O estudo envolve 41 personas distintas categorizadas em grupos baseados em identidade (ex: raça, gênero) e papéis ocupacionais (ex: advogado, biólogo).

Para quantificar a instabilidade, os autores propõem três métricas distintas:

1. Instabilidade de Desempenho ($I_A$): Mede a sensibilidade da acurácia do modelo entre os cenários experimentais. Calcula a diferença absoluta média pareada de acurácia para uma persona em todos os pares de cenários.
2. Instabilidade de Resultado ($I_O$): Mede a variabilidade nas conclusões experimentais, especificamente o ranking das personas. Calcula o desvio padrão ponderado do ranking de uma persona através dos cenários, onde os pesos são determinados pelo desvio padrão das acurácias naquele cenário (contabilizando a paridade do modelo).
3. Instabilidade de Correção de Questão ($I_Q$): Mede a consistência de questões específicas respondidas corretamente. Calcula a similaridade de Jaccard do conjunto de questões respondidas corretamente entre todos os cenários para uma persona, subtraindo este valor de 1 para representar a porcentagem de questões corretas não compartilhadas.

Resultados Principais

O estudo revela que as PDGs em MCQA são altamente instáveis, com variações significativas observadas mesmo entre configurações experimentais semelhantes usadas em trabalhos anteriores.

• Tamanho e Família do Modelo: A instabilidade geralmente diminui conforme o tamanho do modelo aumenta. Modelos maiores (ex: Qwen2.5-14B) exibem pontuações de instabilidade menores em todas as três dimensões comparados aos seus equivalentes menores (ex: Llama-3.2-1B). No entanto, as famílias de modelos também mostram padrões de instabilidade distintos.
• Influência de Hiperparâmetros:
  • Formato de Prompt de Tarefa (TPF): Identificado como o hiperparâmetro mais influente para a instabilidade. Variações no TPF (particularmente formatos "explain") introduziram mais instabilidade de predição do que a temperatura ou os formatos de prompt de persona.
  • Temperatura: Temperaturas mais altas ($\tau=1.0$) levaram consistentemente a uma maior instabilidade em comparação a $\tau=0.0$.
  • Verbosidade do Prompt: Formatos de prompt mais verbosos ou abstratos (ex: "identitynature") geralmente resultaram em menor estabilidade comparados aos formatos "barebones".
• Especificidade de Domínio: A instabilidade varia significativamente por domínio de questão. Questões de Matemática e Raciocínio Comum (Commonsense Reasoning) exibiram a maior instabilidade, enquanto questões de História e Consciência Cultural mostraram a menor. Os autores hipotetizam que isso se relaciona a disparidades na representação de dados de treinamento para esses domínios.
• Independência de Persona: A persona específica utilizada (se baseada em identidade ou ocupacional) teve pouca correlação com o grau de instabilidade. A instabilidade foi impulsionada mais pelos cenários experimentais do que pela própria persona.
• Estabilidade vs. Acurácia: Existe uma forte relação entre estabilidade e acurácia. Cenários "estáveis" (ex: $\tau=0$, prompts simples) geralmente produziram maior acurácia média e máxima do que cenários "instáveis".
• Divergência de Resultado: Diferentes cenários experimentais levaram a conclusões fundamentalmente diferentes sobre qual persona performou melhor. Em cenários instáveis, o ranking de personas pôde mudar drasticamente, e personas relacionadas a demografia (que não deveriam impactar o desempenho em tarefas irrelevantes) mostraram comportamentos inconsistentes e potencialmente enviesados que variavam conforme o cenário.

Significância e Contribuições

O artigo reivindica três contribuições primárias:

1. Identificação da Instabilidade: Demonstra que as PDGs em MCQA não são robustas, exibindo alta variância em desempenho, rankings de resultados e correção ao nível de questão através de variações de hiperparâmetros padrão.
2. Métricas Inovadoras: Introduz três métricas específicas ($I_A, I_O, I_Q$) que capturam dimensões de instabilidade além da simples acurácia, revelando que pontuações de acurácia idênticas podem mascarar inconsistências significativas sobre quais questões são respondidas corretamente ou qual persona é considerada "melhor".
3. Insights Acionáveis: O estudo fornece evidências acionáveis de que a seleção de hiperparâmetros (particularmente o TPF) impacta criticamente a validade de experimentos de PDG. Destaca que cenários instáveis podem levar a conclusões contraditórias sobre a eficácia e o viés de personas, sugerindo que pesquisas futuras devem controlar rigorosamente e reportar sobre essas dimensões de estabilidade para garantir resultados robustos e reproduzíveis.

Os autores concluem que a instabilidade das PDGs é um fator crítico que pode obscurecer ou simular viés, necessitando de uma mudança em direção à avaliação da robustez das avaliações impulsionadas por persona juntamente com sua acurácia.