💻 computer science

Persona Conditioning as an Assessor-Sensitivity Probe for LLM-Based IR Evaluation

Este artigo investiga como o condicionamento de persona afeta a avaliação de recuperação de informação baseada em LLM, revelando que, embora papéis de avaliador específicos e a capacidade do modelo influenciem significativamente o rigor do julgamento e a estabilidade do ranking local, modelos de alta capacidade geralmente preservam os rankings gerais do sistema, estabelecendo assim o julgamento condicionado por persona como uma ferramenta de diagnóstico controlada para testes de estresse em pipelines de avaliação de IR.

Autores originais: Samaneh Mohtadi, Pietro Bernardelle, Joel Mackenzie, Gianluca Demartini

Publicado 2026-08-12

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Samaneh Mohtadi, Pietro Bernardelle, Joel Mackenzie, Gianluca Demartini

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando decidir qual é o melhor filme do ano. Você pede a um grupo de amigos que assistam a eles e deem uma nota. Mas aqui está a reviravolta: você pede a um amigo que julgue como um crítico de cinema rigoroso que odeia ritmo lento, outro para julgar como um adolescente em busca de efeitos especiais legais e um terceiro para julgar como um pai verificando o valor educacional. De repente, o "melhor" filme pode mudar dependendo de quem você perguntou! Isso é o coração da Avaliação de Recuperação de Informação (IR), a ciência de descobrir o quão bem os mecanismos de busca encontram as respostas certas. Durante décadas, humanos fizeram esse julgamento, mas isso é lento e caro. Agora, cientistas estão usando Modelos de Linguagem de Grande Escala (LLMs) — chatbots de IA super inteligentes — para fazer o julgamento no lugar deles. A grande questão é: se pedirmos à IA para "atuar" como diferentes tipos de pessoas, isso muda os resultados? A resposta da IA depende da "máscara" que ela está usando?

Este artigo mergulha exatamente nessa questão. Os pesquisadores queriam ver se dar a uma IA uma "persona" específica (como "um médico" ou "um advogado") muda a forma como ela classifica os resultados de busca, ou se ela apenas dá a mesma resposta não importa o quê. Eles trataram essas personas como um teste de estresse, cutucando e provocando a IA para ver o quão instáveis são suas opiniões. Eles descobriram que, embora a IA não mude completamente toda a sua lista de vencedores e perdedores, ela fica um pouco exigente. Os resultados sugerem que o julgamento da IA não é uma verdade fixa; ele muda ligeiramente dependendo do papel que ela está desempenhando, e essa mudança importa mais para modelos de IA menores e menos poderosos do que para os grandes e cerebrais.

A História do Juiz Camaleônico

No mundo dos mecanismos de busca, precisamos saber se um novo algoritmo é realmente melhor que o antigo. Para descobrir, executamos uma série de buscas de teste e pedimos a um "avaliador" que dê uma nota sobre o quão bons são os resultados. Tradicionalmente, isso era feito por humanos. Mas os humanos cansam, são caros e, às vezes, discordam entre si. Por isso, os pesquisadores começaram a usar modelos de IA como juízes. A ideia era que, se você orientar a IA corretamente, ela pode agir como um juiz humano profissional.

Mas aqui está o detalhe: a IA é sensível. Se você mudar a forma como faz a pergunta, a resposta pode mudar. Este artigo pergunta: O que acontece se mudarmos a identidade do juiz? Em vez de apenas pedir à IA para "ser um juiz", os pesquisadores disseram a ela para "ser um médico", "ser um advogado" ou "ser um verificador de fatos cético". Eles queriam ver se essas diferentes "máscaras" fariam a IA mudar de ideia sobre quais resultados de busca eram bons.

O Experimento: Vestindo a IA

Os pesquisadores montaram um experimento massivo usando dois conjuntos diferentes de perguntas de busca (chamados de datasets). Um conjunto era sobre perguntas factuais e curtas (como "Quem ganhou o Prêmio Nobel?") e o outro era sobre tópicos complexos e abertos (como "Como os professores devem lidar com testes estaduais?").

Eles pegaram seis modelos de IA diferentes — alguns enormes e poderosos, outros menores e mais leves — e pediram que julgassem os resultados de busca. Mas eles não apenas pediram para julgar; deram a eles papéis específicos:

O Juiz Alinhado à Consulta: Focado no que o usuário quis dizer.
O Especialista de Domínio: Focado em campos específicos como saúde ou direito.
O Juiz Ortogonal: Um "contrário" que olhava as coisas de um ângulo totalmente diferente.
O Verificador de Evidências: Um verificador de fatos rigoroso que exigia provas.
O Avaliador Global: Um avaliador padrão e profissional.

Eles também testaram duas formas diferentes de criar esses papéis: uma usando descrições abstratas (como "um pai") e outra usando listas detalhadas de habilidades (como "uma pessoa com habilidades em desenvolvimento de currículo").

O Que Eles Descobriram: A IA é um Anel de Humor, Não uma Rocha

Os resultados foram fascinantes e um pouco surpreendentes. A IA não perdeu completamente o juízo. Quando eles mudaram a persona, a IA não decidiu de repente que um resultado terrível era perfeito e um resultado perfeito era terrível. Em vez disso, as mudanças foram mais sutis, como um anel de humor mudando de cor.

1. A Mudança de "Rigor"
Na maioria das vezes, as classificações da IA permaneceram muito próximas da linha de base padrão. No entanto, as personas mudaram o quão rigorosa a IA era. Por exemplo, a persona "Verificador de Evidências" tendeu a ser mais rigorosa, dando notas mais baixas para resultados que não tinham provas sólidas. A persona "Contrário" foi mais propensa a discordar da visão padrão. Mas, crucialmente, essas mudanças geralmente apenas ajustavam as pontuações para cima ou para baixo um pouco; elas não causaram um caos total onde toda a lista de vencedores foi embaralhada.

2. Tamanho Importa: Grandes Cérebros vs. Pequenos Cérebros
Esta foi uma descoberta importante. Os modelos de IA maiores e mais poderosos (como os de 70 bilhões de parâmetros) eram muito estáveis. Não importava qual "máscara" usassem, eles mantinham suas classificações majoritariamente as mesmas. Eles eram como um juiz sábio e experiente que conhece as regras e não se deixa influenciar por uma mudança de figurino.
No entanto, os modelos de IA menores e menos poderosos eram muito mais sensíveis. Quando você colocava uma máscara de "contrário" em uma IA pequena, ela ficava confusa e suas classificações saltavam muito. Isso sugere que, se você usar uma IA fraca para fazer o julgamento, os resultados podem ser pouco confiáveis apenas porque você pediu para ela "atuar" de certa forma.

3. O "Contrário" é o Mais Disruptivo
Entre todos os papéis, a persona "Ortogonal" (ou contrário) causou as maiores mudanças nas classificações. Isso faz sentido: se você disser a uma IA para olhar as coisas de um ângulo completamente diferente, ela vai mudar de ideia mais do que se você disser para ser um "especialista de domínio". Os pesquisadores descobriram que usar um contrário "baseado em habilidades" (um com uma lista específica de habilidades) causou ainda mais movimento do que um genérico.

4. Não é Sobre Quem a Persona É, Mas O Que Ela Faz
Os pesquisadores se perguntaram se a origem da persona importava. Importava se a persona vinha de um banco de dados de descrições abstratas ou de um banco de dados de habilidades profissionais? Eles descobriram que isso não importava muito. Quer a IA fosse instruída a ser um "professor de sociologia" ou uma "pessoa com habilidades em desenvolvimento de currículo", o efeito era semelhante. O que mais importava era o papel (por exemplo, ser um verificador de fatos vs. ser um contrário) e o tamanho do modelo de IA.

Por Que Isso Importa

Este artigo não diz que os juízes de IA são inúteis. Na verdade, sugere que eles são muito bons em manter a visão geral estável, especialmente os modelos grandes e poderosos. No entanto, ele nos avisa que os juízes de IA não são detentores da verdade absoluta. Suas opiniões podem ser influenciadas pela forma como estruturamos a tarefa.

Os autores sugerem que devemos usar essas "mudanças de persona" como uma ferramenta de diagnóstico. Pense nisso como um teste de estresse para uma ponte. Se você sacudir a ponte um pouco (mudar a persona) e ela balançar demais, você sabe que a ponte (ou o sistema de busca) tem um ponto fraco. Ao observar quais sistemas de busca mudam seu ranking quando o "humor" da IA muda, os pesquisadores podem encontrar sistemas que são sensíveis demais à forma como são avaliados.

Em resumo, o artigo nos ensina que, embora a IA possa ser um ótimo juiz, precisamos ter cuidado com o "figurino" que colocamos nela. Se quisermos resultados confiáveis, devemos nos ater aos modelos maiores e mais inteligentes e entender que a forma como pedimos para a IA julgar pode ajustar sutilmente o resultado. É um lembrete de que, mesmo no mundo da inteligência artificial, a perspectiva importa.

Resumo Técnico: Condicionamento de Persona como uma Prova de Sensibilidade do Avaliador para Avaliação de IR Baseada em LLM

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais adotados como avaliadores de relevância automatizados na avaliação de Recuperação de Informação (IR) para enfrentar as limitações de escalabilidade e custo dos julgamentos humanos. Embora trabalhos anteriores sugiram que os LLMs podem aproximar-se das preferências humanas sob prompts específicos, seus julgamentos permanecem sensíveis à formulação do prompt, ao contexto e a pistas superficiais. Existe uma lacuna crítica na compreensão de como variações sistemáticas na perspectiva do avaliador — especificamente através do condicionamento de persona — afetam os rótulos de relevância e os rankings de sistemas subsequentes. Diferente de estudos anteriores focados em otimização de prompt ou decomposição de critérios, este trabalho investiga se variar o "quem" (o papel do avaliador) em vez do "o quê" (os critérios de avaliação) introduz sensibilidade estruturada ou instabilidade uniforme nos resultados de avaliação de IR.

Metodologia

O estudo emprega um design experimental controlado para tratar o condicionamento de persona como uma sonda diagnóstica da sensibilidade do avaliador.

Datasets e Modelos:
Experimentos foram conduzidos em dois conjuntos de dados de referência: TREC Deep Learning 2020 (DL20), apresentando consultas factuais curtas, e TREC RAG24, apresentando consultas mais longas e abertas que frequentemente exigem contexto explicativo. Seis backbones de LLM foram avaliados, variando de modelos de alta capacidade (GPT-4o, LLaMA-3.1-70B, Qwen-2.5-72B) a modelos de média capacidade (GPT-4o-mini) e variantes menores (LLaMA-3.1-8B, Qwen-2.5-7B).

Personas do Avaliador:
Cinco papéis distintos de avaliador orientados à tarefa foram instanciados para perturbar a perspectiva de avaliação:

Alinhado à Consulta (Query-Aligned): Foca no alinhamento semântico com a intenção inferida do usuário.
Especialista no Domínio (Domain-Expert): Enfatiza a expertise tópica dentro de um domínio específico (mapeado via uma taxonomia de 9 domínios).
Ortogonal (Orthogonal): Introduz uma perspectiva contrastiva ao desviar-se das interpretações dominantes das consultas.
Verificação de Evidências (Evidence-Verification): Prioriza a correção factual e a credibilidade da fonte, penalizando alegações não sustentadas.
Avaliador Global (GAP): Atua como um classificador profissional de qualidade de busca, aplicando diretrizes padrão.

Estes papéis foram instanciados usando duas fontes de persona: PersonaHub (perfis sintéticos abstratos) e USPersona (NVIDIA Nemotron-Personas-USA, perfis profissionais baseados em habilidades).

Configuração Experimental:
Para garantir escalabilidade e controle, o estudo utilizou julgamento baseado em sumários, onde os documentos foram sumarizados uma única vez (aprox. 80 tokens) e reutilizados em todas as condições de persona. Isso fixou a representação do documento, isolando o efeito da perspectiva do avaliador. O framework UMBRELA serviu como a linha de base (baseline) padrão. As métricas de avaliação incluíram:

Nível de Julgamento: $\kappa$ de Cohen quadrático ponderado contra o UMBRELA e julgamentos humanos.
Nível de Sistema: $\tau$ de Kendall e Sobreposição de Rank Ponderada (RBO) comparando os rankings de sistemas derivados por LLM com rankings humanos.
Análise de Sensibilidade: Análise de deslocamento de rank localizado ( $\Delta r$ ) para identificar sistemas específicos e tipos de sistemas mais afetados pelas mudanças de persona.

Principais Contribuições e Resultados

1. Sensibilidade Estruturada e Dependente do Modelo
O estudo revela que o condicionamento de persona não produz instabilidade de avaliação uniforme. Em vez disso, a sensibilidade é estruturada e fortemente dependente da capacidade do modelo.

Modelos de Alta Capacidade: Modelos como LLaMA-3.1-70B e Qwen-2.5-72B mantêm um forte acordo com a linha de base UMBRELA e com os rankings humanos. O condicionamento de persona altera primariamente o rigor da avaliação ou os limiares de evidência, em vez de causar reversões de relevância generalizadas.
Modelos de Média Capacidade: O GPT-4o-mini exibe um comportamento similarmente estável aos modelos de alta capacidade, mantendo um forte acordo entre os datasets.
Modelos de Baixa Capacidade: Modelos menores (ex: LLaMA-3.1-8B, Qwen-2.5-7B) exibem significativamente maior instabilidade, com menor concordância com as linhas de base e maior variância nos rankings de sistemas.

2. Efeitos no Nível de Julgamento
Os julgamentos condicionados por persona geralmente permanecem próximos à linha de base do UMBRELA. As diferenças manifestam-se como mudanças localizadas em:

Rigor de Avaliação: Algumas personas (ex: Verificação de Evidências) tendem a ser mais rigorosas.
Ênfase de Interpretação: Personas ortogonais induzem maiores desvios ao desafiar as interpretações padrão das consultas.
Acordo Humano: O condicionamento de persona não melhora uniformemente o acordo com os julgamentos humanos; em alguns casos (notadamente GPT-4o no RAG24), ele afasta os julgamentos das preferências humanas.

3. Estabilidade de Ranking de Sistemas
Os rankings globais de sistemas permanecem relativamente estáveis para modelos de alta capacidade em diversos datasets. No entanto, os deslocamentos de rank locais são significativos para sistemas específicos.

Tipos de Sistema: A sensibilidade concentra-se em arquiteturas de recuperação específicas. No DL20, sistemas de ranking/reranking neural baseados em transformer (ex: bigIR-DCT-T5-F) mostram alta sensibilidade. No RAG24, pipelines de recuperação aumentada e orientados à geração (ex: iiia_standard_) são os mais afetados.
Deslocamento de Rank: O papel USPersona Ortogonal induziu consistentemente o maior deslocamento absoluto médio de rank, atuando como uma forte sonda de sensibilidade.

4. Fonte de Persona vs. Papel
A fonte da persona (PersonaHub abstrato vs. USPersona baseado em habilidades) tem um efeito secundário comparado ao papel do assessor e à capacidade do modelo. Embora o USPersona às vezes tenha amplificado os desvios, os padrões fundamentais de estabilidade foram impulsionados pela instrução do papel e pela capacidade do modelo de aderir a ela.

Significância e Implicações

O artigo posiciona o julgamento condicionado por persona não como um método para gerar "melhores" rótulos de relevância, mas como um teste de estresse diagnóstico controlado para pipelines de avaliação de IR baseados em LLM.

Utilidade Diagnóstica: Ao variar sistematicamente a perspectiva do avaliador, pesquisadores podem identificar sistemas de recuperação cujos resultados de avaliação são frágeis e sensíveis ao enquadramento. Isso ajuda a distinguir entre o desempenho robusto do sistema e artefatos de uma configuração específica de julgamento.
Robustez de Avaliação: Os achados sugerem que, embora LLMs de alta capacidade forneçam rankings globais estáveis, eles ainda podem mascarar sensibilidades localizadas em tipos de sistemas específicos (ex: pipelines RAG).
Orientação Metodológica: O estudo alerta contra a dependência de um julgamento de LLM de perspectiva única para comparações definitivas de sistemas, particularmente ao usar modelos de baixa capacidade. Em vez disso, defende o uso da variação de persona para caracterizar a sensibilidade dos resultados de avaliação, proporcionando assim uma visão mais matizada da eficácia da recuperação de informação.

Os autores concluem que o condicionamento de persona revela onde os resultados da avaliação dependem das suposições do avaliador, oferecendo um mecanismo para testar a resistência de pipelines de avaliação de IR sem a necessidade de anotação humana adicional.