Resumo Técnico: Quem Endossou? Medindo o Viés de Autoridade entre Níveis de Especialização em Modelos de Linguagem

Declaração do Problema

Embora pesquisas anteriores tenham estabelecido que Modelos de Linguagem de Grande Escala (LLMs) são suscetíveis a sugestões, dicas e endossos, a influência específica da credibilidade da fonte permanece pouco explorada. Estudos existentes sobre viés frequentemente focam em atributos demográficos (gênero, raça) ou vieses estruturais (posição, comprimento). No entanto, não está claro como os LLMs processam endossos baseados no status profissional percebido da fonte. Especificamente, o artigo investiga se os modelos exibem viés de autoridade sistemático, onde deferem a personas de alto status mesmo quando essas personas fornecem informações incorretas, potencialmente sobrepondo suas próprias capacidades de raciocínio interno.

Metodologia

Os autores conduziram uma avaliação abrangente em quatro conjuntos de dados abrangendo tarefas de raciocínio matemático (AQUA-RAT), jurídico (LEXam) e médico (MedMCQA, MedQA).

Desenho Experimental

1. Personas e Gradiente de Especialização: Em vez de uma configuração binária "especialista vs. não especialista", o estudo utilizou uma hierarquia de especialização de quatro níveis para cada domínio:
   • Ciência: Estudante do Ensino Médio → Graduação → Estudante de Pós-Graduação → Professor.
   • Medicina: Estudante do Primeiro Ano → Estudante do Terceiro Ano → Residente-Chefe → Médico Certificado pelo Conselho.
   • Direito: Estudante de Graduação → Estudante do Terceiro Ano → Estagiário Jurídico → Consultor Jurídico Sênior.
2. Variantes de Prompt: Para cada Questão de Múltipla Escolha (QMC), nove variantes de prompt foram geradas:
   • Linha de Base: Sem endosso.
   • Endosso Correto: Uma persona endossa a resposta correta.
   • Endosso Incorreto: Uma persona endossa uma resposta errada.
   • O formato do endosso foi mínimo (ex: "Um [Persona] acha que a resposta é [X]") para isolar o efeito da identidade da fonte do estilo linguístico ou justificativa.
3. Modelos Avaliados: O estudo testou 11 modelos, incluindo tanto Modelos de Raciocínio (ex: DeepSeek-R1, Phi-4-Reasoning, Qwen3-4B-Thinking) quanto Modelos Não de Raciocínio (ex: LLaMA-3.1, Gemma-2/3, Mistral-7B).
4. Métricas:
   • Delta Precisão ($\Delta$Acc): Desvio da precisão da linha de base.
   • Delta Entropia ($\Delta$H): Mudança na confiança (menor entropia = maior confiança).
   • Taxa de Robustez (RR): A taxa na qual a saída do modelo permanece inalterada apesar do endosso.

Intervenção Mecanística (Vetor de Direcionamento)

Para determinar se o viés de autoridade é codificado internamente e não apenas um gatilho superficial de palavras-chave, os autores construíram um vetor de direcionamento.

• Construção: Eles geraram um conjunto de dados de respostas factualmente corretas escritas nos estilos linguísticos dos níveis de especialização mais alto (ex: Professor) e mais baixo (ex: Estudante do Ensino Médio), sem quaisquer rótulos de persona.
• Cálculo do Vetor: O vetor de direcionamento ($v_{auth}$) foi computado como a diferença média nas ativações do fluxo residual entre os estilos de alta e baixa especialização.
• Intervenção: Este vetor foi subtraído das ativações do modelo durante a inferência para testar se a suscetibilidade a endossos enganosos poderia ser reduzida.

Principais Resultados

1. Suscetibilidade Hierárquica

Os resultados revelam uma clara relação monotônica entre a especialização da fonte e o comportamento do modelo:

• Endossos Corretos: Os ganhos de precisão aumentam conforme o nível de especialização do endossante sobe.
• Endossos Incorretos: A degradação da precisão e a confiança em respostas erradas aumentam significativamente com níveis de especialização mais altos.
• Modelos de Raciocínio: Contrariando expectativas, modelos com capacidades de cadeia de pensamento (ex: DeepSeek-R1) não são imunes. Eles exibem degradação substancial de precisão e aumento de confiança em erros quando enganados por fontes de alta autoridade (ex: um Médico Certificado pelo Conselho).

2. Confiança em Erros

Endossos incorretos de alta especialização induzem erros confiantes. Por exemplo, quando um Médico Certificado pelo Conselho endossou uma resposta errada no MedQA, o DeepSeek-R1 mostrou uma queda significativa na entropia ($\Delta H = -0.261$), indicando que o modelo tornou-se mais certo da resposta incorreta.

3. Variações de Domínio

• Raciocínio Matemático: Mostrou as menores taxas de robustez, sugerindo alta suscetibilidade apesar da natureza objetiva das tarefas.
• Raciocínio Médico: Mostrou maior resistência a mudar respostas, possivelmente refletindo treinamento específico do domínio quanto à cautela médica.

4. Achados Mecanísticos

Os experimentos com vetores de direcionamento demonstraram que o viés de autoridade é mecanicamente codificado dentro do fluxo residual do modelo.

• Subtrair o vetor de "especialização" ($v_{auth}$) durante a inferência recuperou consistentemente a precisão do modelo em direção aos níveis da linha de base ao enfrentar endossos enganosos de alta autoridade.
• Isso confirma que o viés está ligado a uma representação interna robusta de especialização que generaliza tanto através de marcadores explícitos de identidade social (rótulos de persona) quanto estilos linguísticos implícitos.

Contribuições e Significado

O artigo faz três contribuições principais:

1. Análise Granular do Viés de Autoridade: Avança além de conceitos binários de autoridade para demonstrar um padrão hierárquico onde a suscetibilidade do modelo escala com o rank percebido do endossante.
2. Vulnerabilidade de Modelos de Raciocínio: Desafia a suposição de que modelos aprimorados com raciocínio são robustos contra manipulação social, mostrando que podem ser desviados por endossos incorretos de alto status.
3. Mitigação Mecanística: Fornece evidências de que o viés de autoridade é um recurso codificado linearmente no fluxo residual. Ao subtrair o vetor de direcionamento correspondente, o modelo pode ser direcionado para longe do viés, melhorando o desempenho mesmo quando um especialista fornece informações enganosas.

Significado e Limitações

Os autores argumentam que este trabalho revela uma vulnerabilidade crítica: os LLMs atuais priorizam a credibilidade da fonte sobre a correção semântica. Este viés pode ser explorado em contextos adversariais (ex: ataques de engenharia social), mas também pode ser mitigado através de direcionamento de ativação no momento da inferência sem modificação de pesos.

O artigo reconhece limitações, incluindo:

• Os experimentos foram limitados a modelos de código aberto com até 32B de parâmetros; modelos de fronteira podem se comportar de maneira diferente.
• O estudo cobriu apenas quatro domínios (matemática, direito, medicina).
• O formato de endosso foi simplificado (declarações únicas) e não levou em conta desinformação sofisticada do mundo real.
• A análise camada por camada do vetor de direcionamento é preliminar, identificando eficácia em camadas intermediárias, mas carecendo de uma ablação sistemática ou caracterização por Codificador Automático Esparso (SAE).