Arguments that Alter Minds: LLM Rationales Sway Human (and LLM) Notions of Plausibility

Resumo Técnico: Argumentos que Alteram Mentes: Racionais de LLM Influenciam Noções de Plausibilidade (Humanas e de LLM)

Declaração do Problema
Benchmarks de raciocínio de senso comum (ex: Social IQA, CommonsenseQA) tipicamente avaliam modelos pedindo que eles selecionem a resposta mais plausível entre várias opções. Diferente de problemas lógicos ou matemáticos, essas respostas existem em um continuum de plausibilidade, em vez de serem definitivamente verdadeiras ou falsas. Embora os anotadores humanos sejam tradicionalmente considerados "especialistas" neste domínio, o artigo investiga se Modelos de Linguagem de Grande Escala (LLMs) podem gerar argumentos (racionais) que alteram sistematicamente os julgamentos humanos e de LLMs sobre a plausibilidade dessas escolhas de resposta. Especificamente, os autores questionam se os racionais gerados por LLM do tipo "PRO" (suporte) e "CON" (refutação) podem influenciar as classificações de plausibilidade humana, mesmo em domínios onde os humanos possuem um forte conhecimento intuitivo.

Metodologia
O estudo baseia-se em uma estrutura prévia de classificação de plausibilidade (Palta et al., 2024) utilizando dois conjuntos de dados: Social IQA (SIQA) e CommonsenseQA (CQA).

1. Construção de Dados: Os autores amostraram 100 questões (50 de cada conjunto de dados). Para cada questão, selecionaram o rótulo de ouro (gold label - resposta correta) e um distrator selecionado aleatoriamente (resposta incorreta).
2. Geração de Racionais: Utilizando o GPT-4o (selecionado via estudo de preferência por sua capacidade de gerar argumentos convincentes), os autores geraram três tipos de racionais para cada par (questão, resposta):
   • PRO: Um argumento apoiando a plausibilidade da resposta.
   • CON: Um argumento apoiando a implausibilidade da resposta.
   • PRO+CON: Ambos os argumentos apresentados juntos.
3. Avaliação Humana: Os autores coletaram 3.000 novos julgamentos de plausibilidade humana (usando uma escala Likert de 1 a 5: Impossível a Muito Provável) sob quatro condições: Sem Racional, PRO, CON e PRO+CON.
4. Avaliação de LLM: Em paralelo, 17 LLMs diferentes (divididos entre famílias OpenAI e Não-OpenAI) foram instigados (prompted) a classificar a plausibilidade dos mesmos itens sob as mesmas quatro condições, gerando 13.600 julgamentos.
5. Análise: O estudo comparou as médias de classificação de plausibilidade entre as condições e realizou regressão de Mínimos Quadrados Ordinários (OLS) para identificar fatores (ex: classificação inicial, tipo de racional) que impulsionam as mudanças nos escores.

Resultos Principais

• Efeito de Influência (Swaying Effect): Tanto os julgamentos de plausibilidade humanos quanto os de LLM são significativamente influenciados pela presença de racionais. Racionais PRO geralmente aumentam as médias, enquanto racionais CON as diminuem.
• Resposta Bimodal Humana a Racionais PRO: Uma descoberta crítica é a reação divergente aos racionais PRO dependendo do tipo de resposta. Para respostas distratoras (incorretas), os racionais PRO elevaram com sucesso as médias de classificação humanas. No entanto, para respostas de ouro (corretas), os racionais PRO surpreendentemente diminuíram as médias de classificação humanas. Os autores sugerem que isso pode ser devido à Máxima da Quantidade de Grice, onde os humanos interpretam a necessidade de um argumento como um sinal de que o fato não é autoevidente, daí "subestimar" a obviedade da resposta correta.
• Sensibilidade de LLM: Os LLMs também mostraram mudanças significativas nas classificações. Diferente dos humanos, os LLMs geralmente aumentaram suas classificações para rótulos de ouro quando apresentados com racionais PRO. Modelos da OpenAI pareceram mais sensíveis aos racionais (gerados pelo GPT-4o) do que modelos Não-OpenAI, indicando potencialmente um viés de auto-preferência.
• Efeito de Ancoragem: A análise de regressão revelou um forte efeito de ancoragem: quanto maior a classificação de plausibilidade inicial de uma resposta, menor a mudança subsequente após a introdução de um racional. Este efeito foi mais pronunciado para distratores do que para rótulos de ouro, sugerindo que os julgamentos iniciais sobre respostas incorretas são mais rígidos.
• Dominância do CON: Racionais CON exerceram uma influência negativa mais forte nas classificações do que os racionais PRO exerceram influência positiva. Quando um PRO e um CON eram apresentados juntos, o componente oposto tendia a dominar, resultando frequentemente em uma diminuição líquida nas classificações de plausibilidade.
• Comprimento do Racional: O comprimento do racional (contagem de palavras) não mostrou uma relação linear significativa com a magnitude das mudanças de classificação.

Significância e Alegações
O artigo afirma demonstrar um uso inovador de LLMs para estudar aspectos da cognição humana, especificamente como argumentos externos influenciam a formação de crenças no raciocínio de senso comum. Os autores destacam várias implicações:

• Vulnerabilidade do Julgamento Humano: Mesmo em domínios onde os humanos são considerados "especialistas" (senso comum cotidiano), argumentos gerados por LLM podem influenciar significativamente as crenças humanas. Isso levanta preocupações sobre o potencial de manipulação persuasiva, pois os usuários podem priorizar a plausibilidade de um argumento de LLM sobre seu próprio conhecimento.
• Desafios de Alinhamento: O estudo ressalta a dificuldade de alinhar julgamentos gerados por IA com a intuição humana, particularmente em tarefas de raciocínio subjetivo onde humanos e LLMs reagem de forma diferente aos mesmos estímulos (ex: o efeito bimodal em rótulos de ouro).
• Segurança e Colaboração: As descobertas sugerem que os LLMs podem efetivamente direcionar o julgamento humano para inferências mais implausíveis. Isso destaca uma vulnerabilidade crítica na colaboração humano-IA, necessitando de salvaguardas como transparência e mitigação de viés para evitar usos manipulativos prejudiciais.
• Contribuição Metodológica: O trabalho fornece evidência empírica de que racionais de LLM podem alterar a plausibilidade percebida de cenários de senso comum, desafiando a suposição de que a intuição humana nesses domínios é imune à influência algorítmica.

Os autores mantêm-se modestos quanto ao escopo, observando que suas descobertas são específicas para conjuntos de dados de senso comum em língua inglesa e que o poder persuasivo pode variar entre diferentes modelos, idiomas e domínios mais restritos (ex: raciocínio jurídico ou científico).