💬 NLP

Aligning LLM Uncertainty with Human Disagreement in Subjectivity Analysis

Este artigo propõe o framework de Percepção de Desacordo e Alinhamento de Incerteza (DPUA), uma abordagem em duas fases que aprimora a análise de subjetividade em modelos de linguagem de grande escala ao modelar explicitamente o desacordo humano para alinhar a incerteza do modelo com as variações de julgamento do mundo real, reduzindo assim a superconfiança e melhorando a generalização.

Autores originais: Junyu Lu, Deyi Ji, Xuanyi Liu, Lanyun Zhu, Bo Xu, Liang Yang, Xian-Sheng Hua, Hongfei Lin

Publicado 2026-05-14

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Junyu Lu, Deyi Ji, Xuanyi Liu, Lanyun Zhu, Bo Xu, Liang Yang, Xian-Sheng Hua, Hongfei Lin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Problema Central: O "Especialista Excessivamente Confiante"

Imagine que você pede a um robô superinteligente (um Modelo de Linguagem de Grande Escala, ou LLM) para julgar uma piada.

O Jeito Antigo do Robô: O robô foi treinado observando milhares de exemplos onde humanos votaram se algo era "engraçado" ou "não engraçado". Se 90% dos humanos dissessem "engraçado", o robô aprendia que era 100% engraçado. Se 51% dissessem "engraçado", o robô ainda aprendia que era "engraçado", mas agia como se tivesse 100% de certeza.
O Defeito: Em tarefas subjetivas (como detectar sarcasmo, ofensa ou sentimento), os humanos frequentemente discordam. Uma pessoa pode achar um comentário ofensivo, enquanto outra o acha engraçado. Quando forçamos o robô a escolher apenas uma resposta, ele ignora o fato de que os humanos estão confusos. O resultado? O robô torna-se excessivamente confiante. Ele dá uma resposta definitiva a uma pergunta complicada, mesmo quando a própria pergunta é ambígua. É como um meteorologista dizendo "Choverá definitivamente" quando o céu é, na verdade, uma mistura de nuvens e sol.

A Solução: DPUA (O "Detetive Humilde")

Os autores propõem um novo framework chamado DPUA (Percepção de Desacordo e Alinhamento de Incerteza). Em vez de apenas ensinar ao robô qual é a resposta, eles ensinam quão inseguro ele deve estar quando os humanos discordam.

Pense no DPUA como treinar um detetive em duas fases específicas:

Fase 1: Aprendendo a Identificar o "Nevoeiro" (Percepção de Desacordo)

Nesta fase, o robô aprende a reconhecer quando uma situação está "nebulosa" (ambígua).

A Analogia: Imagine um professor corrigindo redações. Para redações claras (alto acordo), o professor dá um A direto. Mas para redações onde a intenção do aluno é obscura (baixo acordo), o professor não dá apenas uma nota; ele escreve uma nota dizendo: "Isso é complicado. Algumas pessoas podem ver isso como X, outras como Y."
Como funciona: O robô é treinado para prestar atenção extra nesses casos "nebulosos". Ele aprende a gerar uma "justificativa" (uma explicação) que admite: "Vejo por que algumas pessoas acham isso ofensivo, mas também vejo por que outras podem não achar". Ele para de tentar forçar uma única resposta rígida em dados bagunçados.

Fase 2: Ajustando o "Botão de Confiança" (Alinhamento de Incerteza)

Nesta fase, o robô aprende a ajustar seu "botão de confiança" para corresponder ao quanto os humanos realmente discordam.

A Analogia: Imagine uma balança que mede o quão certo você está.
- Se 100 pessoas concordam que uma afirmação é verdadeira, o robô gira o botão para 100%.
- Se apenas 51 pessoas concordam (e 49 discordam), o robô gira o botão para baixo, até 55%.
- Se os humanos estão divididos 50/50, o robô gira o botão para 50% (o mínimo possível), dizendo efetivamente: "Não faço ideia, e isso está tudo bem".
Como funciona: Os pesquisadores usam um sistema de recompensa especial (como uma pontuação de videogame) para punir o robô se ele agir com muita confiança quando os humanos estão confusos, e recompensá-lo se agir com cautela quando os dados estão bagunçados.

O Que Eles Descobriram?

O artigo testou isso em três tarefas: detectar sarcasmo, identificar linguagem ofensiva e analisar sentimento (positivo/negativo).

Não perdeu a inteligência: O robô não ficou pior em dar a resposta certa. Na verdade, manteve-se tão bom quanto antes em prever o rótulo.
Tornou-se mais honesto: O robô parou de fingir estar certo quando não deveria. Em casos "limítrofes" complicados (onde os humanos discordam), a pontuação de confiança do robô caiu para corresponder à confusão humana.
Generalizou melhor: Quando o robô foi testado em novos tipos de problemas subjetivos que nunca tinha visto antes, lidou com eles melhor do que os modelos antigos. Ele aprendeu uma habilidade geral de "saber o que não sabe".

A Conclusão

O artigo argumenta que, para tarefas subjetivas, a incerteza não é um defeito; é um recurso.

Ao ensinar a IA a expressar incerteza de uma maneira que espelha o desacordo humano, obtemos modelos mais confiáveis. Em vez de um robô que, com confiança, dá a resposta errada em uma piada complicada, temos um robô que diz: "Isso provavelmente é uma piada, mas consigo ver por que algumas pessoas podem se ofender, então tenho apenas 60% de certeza". Isso torna a IA uma parceira melhor para os humanos em tomada de decisões complexas e nuances.

Resumo Técnico: Alinhamento da Incerteza de LLMs com o Desacordo Humano na Análise de Subjetividade

Declaração do Problema
Os atuais Modelos de Linguagem de Grande Escala (LLMs) para análise de subjetividade (por exemplo, análise de sentimentos, detecção de sarcasmo, detecção de ofensividade) são tipicamente treinados em rótulos agregados derivados de votação majoritária. Este paradigma comprime as variações intrínsecas no julgamento humano em um único sinal de supervisão. Consequentemente, ignora a incerteza inerente a amostras de baixo acordo, induzindo frequentemente previsões excessivamente confiantes e limites de decisão rígidos. Esta limitação compromete a confiabilidade e a generalização do modelo em configurações subjetivas complexas, onde as fronteiras semânticas são difusas e as interpretações humanas variam. O problema central abordado é como permitir que os modelos não apenas prevejam rótulos, mas também expressem incerteza que reflita com precisão a distribuição do desacordo humano.

Metodologia: A Estrutura DPUA
Os autores propõem uma estrutura de duas fases chamada Percepção de Desacordo e Alinhamento de Incerteza (DPUA) para operacionalizar a análise de subjetividade consciente de incerteza. A estrutura exige que os modelos realizem conjuntamente a previsão de rótulos, a geração de racionalizações e a estimativa de confiança.

Fase 1: Percepção de Desacordo (Aprendizado Desacoplado Adaptativo)
- Objetivo: Aumentar a sensibilidade do modelo a sinais de desacordo, preservando o desempenho da tarefa.
- Mecanismo: Os autores introduzem uma estratégia de aprendizado desacoplado adaptativo durante o Ajuste Fino Supervisionado (SFT). O objetivo de treinamento é reponderado com base na pontuação de acordo humano ( $C^h_i$ $C_{i}^{h}$ ) de cada amostra.
  - Amostras de alto acordo: Recebem supervisão mais forte para a previsão de rótulos, a fim de garantir padrões de decisão estáveis.
  - Amostras de baixo acordo: Recebem peso aumentado para a geração de racionalizações, incentivando o modelo a aprender pistas e evidências relacionadas ao desacordo.
- Saída: O modelo aprende a gerar racionalizações que identificam tanto as justificativas de rótulo quanto fontes potenciais de ambiguidade ou desacordo.
Fase 2: Alinhamento de Incerteza (Otimização baseada em GRPO)
- Objetivo: Refinar o raciocínio consciente de incerteza e alinhar a expressão de confiança do modelo com a distribuição de desacordo humano.
- Mecanismo: Os autores empregam a Otimização de Política Relativa por Grupos (GRPO). Esta fase otimiza o modelo utilizando dois componentes de recompensa específicos:
  - Recompensa de Raciocínio Consciente de Incerteza: Avalia a qualidade da racionalização gerada (justificativa de rótulo e identificação de pistas de desacordo) usando um modelo julgador (GPT-4o-mini). O peso desses componentes é ajustado dinamicamente com base na pontuação de acordo humano.
  - Recompensa de Calibração de Incerteza: Mede a discrepância entre a distribuição de confiança prevista pelo modelo e a distribuição empírica de desacordo humano usando o Erro Médio Absoluto (MAE). Esta recompensa incentiva o modelo a ser menos confiante em amostras de baixo acordo e mais confiante em amostras de alto acordo.
- Otimização: O modelo é atualizado maximizando a vantagem relativa ao grupo das saídas amostradas, fomentando um raciocínio que se alinha aos padrões de incerteza humana.

Principais Contribuições

Mudança de Paradigma: O artigo defende a "análise de subjetividade consciente de incerteza", indo além do ajuste a um único rótulo agregado para um cenário onde os modelos devem identificar pistas de desacordo e expressar incerteza calibrada.
Proposta de Estrutura: A introdução da DPUA, uma estrutura de duas fases que modela conjuntamente a previsão de rótulos, a geração de racionalizações e a estimativa de confiança.
Validação Empírica: Avaliação sistemática em três tarefas de análise de subjetividade (detecção de sarcasmo, análise de sentimentos e detecção de ofensividade), demonstrando que a DPUA preserva o desempenho central da tarefa enquanto melhora significativamente o alinhamento entre a incerteza do modelo e o desacordo humano.

Resultados Experimentais
Os experimentos foram conduzidos em três conjuntos de dados: Corpus de Sarcasmo Conversacional (CSC), GoEmotions (GOE) e MD-Agreement (MD), utilizando backbones Qwen-3 e LLaMa-3.1.

Alinhamento de Incerteza: A DPUA superou significativamente as linhas de base (zero-shot, few-shot, SFT padrão e GRPO vanilla) nas métricas de alinhamento de incerteza. Reduziu o Erro Médio Absoluto (MAE) entre as distribuições do modelo e humanas em aproximadamente 5,94% a 8,31% e melhorou os coeficientes de correlação de Pearson em 5,13% a 6,06% entre os backbones.
Desempenho da Tarefa: Ao contrário de linhas de base conscientes de incerteza padrão que às vezes sacrificam a precisão, a DPUA manteve um desempenho competitivo na previsão de rótulos, mostrando melhorias ligeiras nas pontuações de Acurácia e F1 sobre linhas de base fortes.
Mitigação de Excessiva Confiança: A visualização das distribuições de confiança mostrou que a DPUA mitiga a excessiva confiança em amostras de fronteira, atribuindo valores de probabilidade intermediários a casos de baixo acordo onde o SFT padrão tende a ser excessivamente certo.
Generalização: Em configurações de transferência fora da distribuição (OOD) (por exemplo, treinamento em GOE e teste em CSC), a DPUA demonstrou superior generalização, alcançando os melhores ou resultados competitivos tanto na previsão de rótulos quanto no alinhamento de incerteza, sugerindo que os padrões conscientes de incerteza aprendidos são transferíveis.
Explicabilidade: Estudos de caso e avaliações de racionalização indicaram que a DPUA gera racionalizações mais informativas e sólidas que refletem explicitamente a ambiguidade e o potencial desacordo humano.

Significado e Alegações
O artigo alega que modelar o desacordo humano como uma fonte intrínseca de incerteza é crucial para o desenvolvimento de LLMs confiáveis em cenários de tomada de decisão subjetiva. Ao alinhar a confiança do modelo com a distribuição real do desacordo humano, a DPUA aborda o problema da excessiva confiança em amostras de fronteira, que é um modo de falha comum nos atuais sistemas de análise de subjetividade. Os autores afirmam que sua abordagem fornece uma base mais confiável para tarefas subjetivas, garantindo que os modelos expressem incerteza de maneira consistente com a complexidade da cognição humana, em vez de forçar uma falsa sensação de certeza através de rótulos agregados. O trabalho destaca que o alinhamento de incerteza é um desafio distinto da previsão de rótulos e requer estratégias arquitetônicas e de treinamento específicas para ser alcançado efetivamente.