🤖 machine learning

Distributions In, Distributions Out: The Case for Soft-Label Training

Este artigo demonstra que o treinamento de classificadores supervisionados utilizando a distribuição completa de rótulos dos anotadores (rótulos suaves) em vez de votos de maioria colapsados (rótulos rígidos) melhora a acurácia, reduz a divergência das anotações humanas e alinha melhor a incerteza do modelo com o desacordo humano genuíno em tarefas de visão e PLN.

Autores originais: Agamdeep Singh, Ashish Tiwari, Hosein Hasanbeig, Priyanshu Gupta

Publicado 2026-07-31

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Agamdeep Singh, Ashish Tiwari, Hosein Hasanbeig, Priyanshu Gupta

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Arte de Saber o Que Você Não Sabe

Imagine que você está tentando ensinar um robô a ver o mundo. Você mostra a ele a foto de uma forma borrada e pergunta: "Isso é um gato ou um cachorro?". Se você perguntar a dez pessoas diferentes, poderá obter seis votos para "gato" e quatro para "cachorro". No mundo da inteligência artificial, este é um problema clássico: como ensinamos uma máquina a entender que o mundo nem sempre é preto no branco?

Por muito tempo, a maneira padrão de treinar essas máquinas tem sido forçá-las a uma única resposta. Pegamos esses dez votos humanos, somamos e dizemos ao robô: "A resposta é Gato". Jogamos fora os quatro votos de "cachorro" e fingimos que a imagem nunca foi ambígua. Isso funciona muito bem para coisas claras, como identificar uma placa de pare vermelha. Mas isso falha quando os próprios humanos não conseguem concordar. Se um humano olha para uma imagem complicada e se sente incerto, mas o robô é forçado a dizer "100% Gato", o robô está mentindo sobre sua própria confiança. É como um meteorologista que sabe que há 50% de chance de chuva, mas insiste: "Vai chover com certeza", apenas para se ajustar a uma previsão simples.

Este artigo mergulha em um canto específico do aprendizado de máquina chamado classificação supervisionada. Em termos simples, é quando ensinamos computadores a classificar coisas em categorias (como texto "educado" vs. "rude", ou fotos de "gato" vs. "cachorro") mostrando-lhes exemplos com rótulos. A grande questão que os autores fazem é: Quando os humanos discordam de um rótulo, devemos forçar o computador a escolher um único vencedor ou devemos deixá-lo aprender com a incerteza de toda a multidão? Os autores argumentam que forçar uma única resposta joga fora informações valiosas sobre como o mundo realmente funciona.

O Caso dos Rótulos Suaves: Deixando a Multidão Falar

Os autores deste artigo, Agamdeep Singh e colegas da Microsoft, decidiram testar uma abordagem diferente. Em vez de colapsar um grupo de opiniões humanas em um único rótulo "rígido" (como um único "Gato"), eles tentaram treinar a IA usando a distribuição completa das respostas. Eles chamam isso de treinamento com rótulos suaves (soft-label training).

Pense nisso desta forma:

Treinamento com Rótulo Rígido (Hard-Label Training) é como um professor que faz uma votação na classe sobre uma pergunta difícil, vê que 60% dos alunos acham que a resposta é "A" e 40% acham que é "B", e então escreve "A" no quadro negro. O professor diz ao aluno: "A resposta é A. Decore". O aluno aprende a ter 100% de certeza de "A", embora a classe estivesse dividida.
Treinamento com Rótulo Suave (Soft-Label Training) é como um professor que escreve no quadro: "60% de nós acham que é A, 40% acham que é B". O professor diz ao aluno: "A resposta é uma mistura. Tenha 60% de certeza de A e 40% de certeza de B". O aluno aprende a refletir a confusão real da sala.

O artigo testa essa ideia em três conjuntos de dados diferentes: um para entender a lógica de texto (ChaosNLI), um para julgar a polidez em textos (POPQUORN) e um para identificar objetos em fotos (CIFAR-10H). Em todos esses casos, os dados eram bagunçados, com humanos genuinamente discordando sobre qual era a resposta correta.

O Que Eles Descobriram: Incerteza é uma Característica, Não um Erro

Os resultados foram surpreendentemente claros. Quando os pesquisadores compararam os modelos "Rígidos" (aqueles ensinados com respostas únicas) contra os modelos "Suaves" (aqueles ensinados com a distribuição completa da multidão), os modelos Suaves venceram em quase todos os aspectos que importavam para entender a incerteza humana.

1. Eles são melhores em corresponder à confusão humana.
A medida mais importante foi o quão próxima a suposição do computador estava da dispersão real dos votos humanos. Os autores usaram uma ferramenta matemática chamada divergência KL para medir isso. Um número menor significa que o computador está mais próximo da realidade humana. Os modelos de rótulo suave reduziram esse erro em uma média de 32% em todos os conjuntos de dados. Em português claro: os modelos suaves foram muito melhores em dizer: "Não tenho total certeza, e aqui está exatamente o quão incerto eu estou", correspondendo à maneira como os humanos realmente se sentiram sobre os dados.

2. Eles não perdem precisão.
Um medo comum é que, se você ensinar um computador a ser incerto, ele possa ficar pior em acertar a resposta "certa". O artigo mostra que isso não é verdade. No conjunto de dados de polidez (POPQUORN) e no conjunto de dados de imagens (CIFAR-10H), os modelos de rótulo suave foram tão precisos quanto os modelos de rótulo rígido. No conjunto de dados de lógica (ChaosNLI), os modelos de rótulo suave foram, na verdade, mais precisos (55,30% vs. 51,75%). Portanto, ser honesto sobre a incerteza não os tornou mais burros; tornou-os mais inteligentes.

3. Eles sabem quando estar incertos.
Esta é talvez a descoberta mais legal. Os pesquisadores observaram como a "incerteza" do computador (medida pela entropia) mudava de uma amostra para outra. Eles descobriram que, para os modelos de rótulo suave, a incerteza do computador acompanhou a incerteza humana 61% mais fortemente do que os modelos de rótulo rígido.

Se os humanos estavam confusos sobre uma foto específica, o modelo de rótulo suave também estava confuso.
Se os humanos tinham 100% de certeza, o modelo de rótulo suave tinha 100% de certeza.
Os modelos de rótulo rígido, no entanto, tendiam a ser confiantemente errados ou confiantemente certos mesmo quando os humanos estavam divididos. Eles não "sentiam" a ambiguidade.

Por Que Isso Importa

O artigo argumenta que a antiga maneira de fazer as coisas — colapsar todo o desacordo humano em um único "voto da maioria" — é um erro. Trata o desacordo humano como "ruído" ou um erro que precisa ser corrigido. Os autores sugerem que, quando especialistas discordam, esse desacordo é frequentemente a verdade. Reflete o fato de que algumas coisas no mundo (como se uma piada é educada ou se um animal borrado é um gato) são genuinamente ambíguas.

Ao treinar com a distribuição completa das respostas, construímos sistemas de IA que são mais honestos. Eles não fingem saber coisas que não sabem. Os autores observam que isso funciona mesmo quando você não tem um grande número de votos humanos por imagem (apenas 6 ou 7), embora funcione ainda melhor com mais (como 100 votos).

No fim, o artigo sugere que, para qualquer tarefa que envolva julgamento humano — como segurança, polidez ou preferência — devemos parar de forçar a IA a escolher um único vencedor. Em vez disso, devemos deixá-la aprender com toda a multidão. Como dizem os autores, para uma IA confiável, precisamos de sistemas que saibam o que não sabem. O treinamento com rótulo suave é uma maneira de ensiná-los exatamente isso.

Resumo Técnico: Distribuições de Entrada, Distribuições de Saída: O Caso para o Treinamento com Rótulos Suaves (Soft-Label)

Problema
Os pipelines típicos de classificação supervisionada padrão geralmente produzem uma distribuição de probabilidade sobre as classes, mas são treinados contra "rótulos rígidos" (hard labels) — índices de classe única derivados pelo colapso de múltiplas anotações humanas em um voto de maioria. Esta abordagem assume que o desacordo entre anotadores é meramente ruído a ser resolvido. No entanto, em tarefas que envolvem ambiguidade genuína (ex: inferência de linguagem natural, polidez ou categorização visual ambígua), esse colapso descarta informações críticas sobre a incerteza humana. Consequentemente, os modelos são forçados a expressar confiança uniforme em entradas onde os humanos discordam sistematicamente, deturpando a realidade dos dados e falhando em alinhar-se ao julgamento humano.

Metodologia
Os autores propõem o treinamento com rótulos suaves (soft-label training), um paradigma onde o modelo é treinado diretamente contra a distribuição completa de anotação empírica, em vez de uma estimativa de ponto colapsada.

Hipótese Central: Quando os anotadores discordam legitimamente, a distribuição de anotação é a verdade fundamental (ground truth), não uma estimativa ruidosa. A representação alvo deve corresponder à natureza probabilística da saída do modelo ( $q(y|x)$ ).
Objetivo de Treinamento:
- Rótulo Suave (Soft-Label): Utiliza a distribuição de anotação completa como o alvo em uma perda de entropia cruzada (cross-entropy loss).
- Rótulo Rígido (Hard-Label): Colapsa a distribuição para uma classe de voto de maioria (codificação one-hot) para a entropia cruzada categórica padrão.
Métricas de Avaliação: Além da acurácia padrão, o estudo utiliza duas métricas distributivas:
1. Divergência KL ( $D_{KL}(p \parallel q)$ ): Mede a distância entre a previsão do modelo e a distribuição de anotação humana. Os autores utilizam especificamente a KL forward, que é "cobertora de moda" (mode-covering) e penaliza o modelo por atribuir probabilidade próxima de zero a classes que os anotadores selecionaram, garantindo que o modelo reproduza a distribuição completa.
2. Correlação de Entropia: Calcula a correlação de Pearson entre a entropia da distribuição do anotador e a entropia da previsão do modelo entre as amostras. Isso mede se a incerteza do modelo acompanha o desacordo humano em uma base por amostra.
Configuração Experimental: Os autores avaliaram essas abordagens em três conjuntos de dados abrangendo NLP e visão:
- ChaosNLI: Inferência de linguagem natural (100 anotadores/amostra).
- POPQUORN: Classificação de polidez (~6,7 anotadores/amostra).
- CIFAR-10H-Hard: Um subconjunto curado de categorização visual (50 anotadores/amostra).
- Arquitetura: Embeddings pré-treinados congelados (OpenAI Text Embedings 3 Large para NLP, DINOv2 Small para visão) com um cabeçalho MLP leve de 2 camadas. Apenas o cabeçalho foi treinado para isolar o efeito do tipo de rótulo.
- Procedimento: Busca em grade exaustiva para hiperparâmetros, interrupção precoce (early stopping) e avaliação sobre 10 sementes aleatórias com testes t pareados para significância.

Resultados Principais
O estudo demonstra que o treinamento com rótulos suaves consistentemente iguala ou supera o desempenho de rótulos rígidos, enquanto melhora significativamente o alinhamento distributivo:

Melhor Alinhamento Distributivo: Modelos de rótulo suave alcançaram significativamente menor divergência KL em todos os três conjuntos de dados (redução média de 32%, $p < 10^{-4}$ ). Isso indica que os modelos capturam melhor a amplitude total da incerteza humana.
Manutenção ou Melhoria da Acurácia: O treinamento com rótulo suave não sacrificou a acurácia preditiva.
- No ChaosNLI, o treinamento com rótulo suave melhorou significativamente a acurácia (55,30% vs. 51,75%, $p < 0,001$ ).
- No POPQUORN e no CIFAR-10H-Hard, a acurácia foi estatisticamente indistinguível das bases de rótulo rígido.
Rastreamento do Desacordo Humano: A entropia por amostra dos modelos de rótulo suave correlacionou-se 61% mais fortemente com a entropia do anotador, em média, comparado aos modelos de rótulo rígido. A melhoria foi mais pronunciada no ChaosNLI (+119%), sugerindo que esses modelos aprendem a ser incertos precisamente onde os humanos são incertos.
Robustez: As trajetórias de perda de validação mostraram que os modelos de rótulo rígido começaram a sofrer overfitting mais cedo, enquanto os modelos de rótulo suave continuaram a melhorar ou permaneceram estáveis por mais épocas, sugerindo que os alvos distributivos atuam como um regularizador.

Significância e Alegações
O artigo argumenta que os benefícios do treinamento com rótulo suave não são meramente efeitos de regularização incidentais, mas a consequência natural de treinar contra um alvo corretamente representado.

Alinhamento Epistêmico: Os autores afirmam que, quando existe incerteza epistêmica genuína, a distribuição de anotação é a verdade fundamental. Colapsá-la força os modelos a expressar "falsa confiança". O treinamento com rótulo suave alinha o perfil de incerteza do modelo com a realidade humana.
Implicações Práticas:
- Avaliação: Julgar modelos apenas pela acurácia de rótulo rígido penaliza a expressão honesta de incerteza. Um modelo que prevê corretamente uma divisão de 60-40 com a confiança apropriada é mais valioso do que um que afirma falsamente 100% de certeza na classe majoritária.
- Coleta de Dados: Os autores desafiam a convenção de que a coleta de múltiplos anotadores é muito cara ou rara. Eles argumentam que a dependência do campo em pipelines de rótulo único é uma convenção autorreforçável. Seus resultados mostram ganhos significativos mesmo com taxas de anotação modestas (ex: ~6,7 anotadores/amostra), defendendo que a coleta multi-anotador se torne o padrão para tarefas subjetivas (segurança, toxicidade, preferência, NLI).
Limitações: Os autores notam modestamente o número limitado de conjuntos de dados de referência usados e que os resultados atuais são específicos para tarefas de classificação, embora sugiram que os princípios poderiam se estender a modelos generativos e outras tarefas de aprendizado.

Em conclusão, o artigo postula que, para uma IA confiável, os sistemas devem "saber o que não sabem". O treinamento com a verdade fundamental distributiva é apresentado como um passo crucial para alcançar isso, garantindo que os modelos reflitam a subjetividade inerente ao julgamento humano, em vez de um consenso artificial e colapsado.

A Arte de Saber o Que Você Não Sabe

O Caso dos Rótulos Suaves: Deixando a Multidão Falar

O Que Eles Descobriram: Incerteza é uma Característica, Não um Erro

Por Que Isso Importa

Mais como este