Resumo Técnico: Tarefa Compartilhada LeWiDi-2025

Definição do Problema

O artigo aborda o desafio de treinar e avaliar modelos de Processamento de Linguagem Natural (PLN) na presença de discordância no julgamento humano. As abordagens tradicionais de PLN frequentemente tratam as anotações como verdade fundamental (ground truth), reconciliando variações subjetivas em um único rótulo. No entanto, pesquisas recentes sugerem que, para tarefas envolvendo fenômenos subjetivos (ex: ironia, sarcasmo, ofensividade), preservar a discordância é essencial. O problema central é como modelar efetivamente essas variações e avaliar sistemas que o façam, indo além das métricas padrão como a entropia cruzada, que pode não capturar adequadamente as nuances de rótulos suaves (soft labels) ou as perspectivas individuais dos anotadores.

Metodologia

O Benchmark LeWiDi-2025

A terceira edição da tarefa compartilhada Learning With Disagreements (LeWiDi) introduziu um framework unificado abrangendo quatro conjuntos de dados distintos, lançados em um formato JSON harmonizado com metadados ricos (incluindo demografia dos anotadores e explicações):

1. CSC (Conversational Sarcasm Corpus): Detecção de sarcasmo em inglês usando uma escala Likert de 1 a 6, com pares de contexto-resposta avaliados por falantes e observadores externos.
2. MP (MultiPICo): Um conjunto de dados de detecção de ironia multilíngue (9 idiomas) do Twitter e Reddit, usando rótulos binários (irônico/não irônico) com extensos metadados sociodemográficos.
3. VEN (VariErr NLI): Um conjunto de dados de Inferência de Linguagem Natural derivado do MNLI, onde os anotadores atribuem rótulos (Implicação, Neutro, Contradição) e fornecem explicações, distinguindo entre erros de anotação e variação legítima.
4. Par (Detecção de Paráfrase): Um conjunto de dados baseado no Quora Question Pairs, usando uma escala Likert de -5 a +5 para indicar o grau de relação de paráfrase, anotado por um conjunto fixo de quatro anotadores com explicações.

Definições de Tarefas

A tarefa compartilhada definiu dois paradigmas de avaliação complementares:

• Tarefa A (Predição de Rótulo Suave/Soft-label): Os sistemas preveem uma distribuição de probabilidade sobre os rótulos possíveis para cada item. O objetivo é corresponder à distribuição de nível populacional dos julgamentos humanos.
• Tarefa B (Predição Perspectivista): Os sistemas preveem a escolha de rótulo específica de um anotador individual, dado o seu ID e a entrada. O objetivo é modelar o viés e a perspectiva do anotador individual.

Métricas de Avaliação

A tarefa afastou-se da entropia cruzada padrão para métricas mais adequadas aos tipos específicos de dados:

• Avaliação de Rótulo Suave (Soft-label):
  • Distância de Manhattan: Usada para conjuntos de dados multiclasse/multirrótulo (MP, VEN).
  • Distância de Wasserstein Média (AWD): Usada para conjuntos de dados de escala ordinal (Par, CSC), contabilizando a distância entre os intervalos de rótulos.
• Avaliação Perspectivista:
  • Taxa de Erro Média (AER): Usada para categorias nominais (MP, VEN).
  • Distância Absoluta Normalizada Média (ANAD): Usada para categorias ordinais (Par, CSC), penalizando desvios proporcionalmente ao intervalo da escala Likert.

Principas Contribuições

1. Escopo Expandido do Benchmark: Diferente de edições anteriores, o LeWiDi-2025 expandiu-se além de tarefas subjetivas binárias para incluir Inferência de Linguagem Natural (NLI), detecção de paráfrase e detecção de ironia, incorporando tanto julgamentos categóricos quanto ordinais (escala Likert).
2. Duplos Paradigmas de Avaliação: A tarefa integrou formalmente a modelagem de rótulo suave (distribuições populacionais) e a modelagem perspectivista (comportamento do anotador individual) dentro de um único framework, permitindo uma avaliação abrangente de sistemas conscientes da discordância.
3. Métricas Inovadoras: A introdução das distâncias de Manhattan e Wasserstein para avaliação de rótulo suave, e de Taxa de Erro/ANAD para avaliação perspectivista, proporcionou medidas mais robustas e intuitivas para dados multiclasse, multirrótulo e ordinais em comparação com as abordagens de entropia cruzada anteriores.
4. Liberação de Recursos: A liberação de quatro novos ou estendidos conjuntos de dados com formatos harmonizados, metadados ricos (idade, gênero, nacionalidade, etc.) e rastros de explicação para as tarefas de NLI e paráfrase.

Resultados

Desempenho dos Sistemas

Quinze equipes enviaram previsões, com nove contribuindo com artigos de sistema.

• Melhores Desempenhos: Sistemas baseados em Grandes Modelos de Linguagem (LLMs) utilizando Aprendizado em Contexto (ICL) e pós-treinamento em dados ricos em discordância (ex: Opt-ICL, DeMeVa) alcançaram os rankings gerais mais altos tanto na Tarefa A quanto na Tarefa B.
• Modelos Transformer: Modelos Transformer ajustados (fine-tuned) (ex: twinhter, McMaster) foram competitivos, particularmente em conjuntos de dados menores como Par e VEN, onde às vezes superaram os LLMs.
• Sucesso Específico de Tarefa: Equipes focadas em conjuntos de dados únicos com abordagens personalizadas alcançaram primeiros lugares locais (ex: PromotionGo no MP-Tarefa A, Uncertain Mis(Takes) no VEN-Tarefa A).

Tendências Principais

• Pipelines Unificados: Observou-se uma mudança de soluções específicas para cada conjunto de dados para pipelines de propósito geral que aplicam uma metodologia unificada em todos os datasets.
• Informação do Anotador: A maioria dos sistemas de alto desempenho incorporou informações do anotador. As estratégias incluíram o uso de IDs de anotadores, características demográficas e exemplos em contexto do comportamento passado do anotador.
• Papel das Explicações: Para VEN e Par, incorporar as explicações dos anotadores no contexto do modelo melhorou significamente o desempenho, ajudando os modelos a compreender as justificativas de rotulagem.
• Aumento de Dados: Estratégias como pós-treinamento em conjuntos de dados de discordância externos, paráfrase e retrotradução mostraram graus variados de sucesso, dependendo do conjunto de dados específico e da arquitetura do modelo.

Significância e Alegações

O artigo afirma que o LeWiDi-2025 fortalece com sucesso o framework para tecnologias conscientes da discordância, fornecendo novos recursos, benchmarks e métodos de avaliação. Os resultados oferecem insights sobre os pontos fortes e limitações dos métodos atuais, destacando particularmente que:

• A modelagem das perspectivas individuais dos anotadores contribui para uma melhor qualidade de predição geral (rótulos suaves).
• A escolha da métrica de avaliação é crítica, pois as métricas padrão podem falhar em capturar as nuances de discordâncias ordinais ou multirrótulo.
• Embora os LLMs com ICL liderem atualmente, modelos ajustados (fine-tuned) permanecem competitivos, especialmente quando aproveitam características específicas do conjunto de dados, como as explicações.

Os autores mantêm uma postura modesta, observando que o escopo permanece restrito ao texto e que os conjuntos de teste continham anotadores vistos durante o treinamento, o que significa que a tarefa não avaliou totalmente a generalização para anotadores não vistos — uma lacuna crítica para aplicações do mundo real. Eles visam estimular mais pesquisas sobre as formas mais apropriadas de avaliação para julgamentos ordinais e a utilidade de modelar comportamentos de anotadores individuais versus grupais.