Not All Subjectivity Is the Same! Defining Desiderata for the Evaluation of Subjectivity in NLP

Título: Nem Toda Subjetividade é a Mesma! Definindo Desejáveis para a Avaliação de Subjetividade em PLN

1. Problema

Os modelos de Processamento de Linguagem Natural (PLN) estão cada vez mais integrados em aplicações sociais onde lidam com conceitos subjetivos (valores, normas, argumentos). No entanto, a prática atual de avaliação e treinamento tende a colapsar a diversidade de opiniões em um único rótulo "verdadeiro" (geralmente via votação majoritária). Isso resulta em:

• Apagamento de vozes minoritárias: Perspectivas divergentes ou minoritárias são obscurecidas.
• Falha na distinção de tipos de subjetividade: A literatura não distingue adequadamente entre ambiguidade (falta de contexto/informação necessária) e polifonia (múltiplas interpretações válidas baseadas em experiências individuais/demográficas).
• Desalinhamento de avaliação: As métricas atuais (como Acurácia ou F1 em rótulos agregados) não capturam a complexidade de modelos que devem refletir um espectro de perspectivas ou se adaptar a preferências individuais.

O artigo questiona: Quais aspectos da subjetividade as métricas de avaliação devem capturar?

2. Metodologia

Os autores adotam uma abordagem top-down (de cima para baixo) para definir critérios de avaliação, fundamentada em uma revisão da representação da subjetividade em dados e modelos de PLN.

• Análise Conceitual:
  • Diferenciam Ambiguidade (necessidade de desambiguação/contexto) de Polifonia (coexistência de múltiplas perspectivas válidas).
  • Mapeiam as fontes de subjetividade: ambiguidade da tarefa, ambiguidade da entrada e atitude do anotador.
• Revisão Sistemática da Literatura:
  • Analisaram 60 artigos recentes sobre subjetividade em PLN.
  • Mapearam as métricas de avaliação existentes (Distância, F1, Acurácia, Confiabilidade, etc.) contra os critérios propostos.
  • Identificaram lacunas onde a prática atual falha em cobrir os novos critérios.

3. Principais Contribuições: Os 7 Desejáveis (Desiderata)

O núcleo do trabalho é a proposta de sete critérios sequenciais para avaliar modelos sensíveis à subjetividade:

1. D1. Reconhecer quando a modelagem subjetiva é necessária: O modelo deve identificar se uma entrada tem múltiplas perspectivas válidas ou se há um consenso (ex.: discurso de ódio grave vs. opinião política).
2. D2. Reconhecer qual tipo de modelagem subjetiva é necessária: Distinguir se a entrada é ambígua (precisa de esclarecimento) ou polifônica (precisa de múltiplas perspectivas).
3. D3. Reconhecer por que há subjetividade na entrada: Identificar a fonte da subjetividade (ex.: falta de contexto, diferenças demográficas, valores culturais) para gerar explicações ou desambiguações adequadas.
4. D4. Prever a subjetividade com precisão: O modelo deve prever corretamente a distribuição de julgamentos humanos ou a perspectiva individual, dependendo do objetivo.
5. D5. Calibrar a saída em relação à frequência de opiniões: As probabilidades ou quantificadores linguísticos do modelo devem refletir a distribuição real dos julgamentos humanos (ex.: se 70% das pessoas acham algo ofensivo, o modelo deve refletir essa confiança).
6. D6. Representar todas as perspectivas: O modelo deve capturar vozes minoritárias e não apenas a visão majoritária, evitando viés em direção a perspectivas dominantes.
7. D7. Expressar a subjetividade sem prejudicar a experiência do usuário: A forma como as múltiplas perspectivas são apresentadas (resumo, distribuição, personalização) deve ser concisa e útil, equilibrando detalhe e clareza.

4. Resultados e Análise de Métricas Existentes

A análise dos 60 artigos revelou lacunas significativas entre os desejáveis propostos e a prática atual:

• Foco Desproporcional: A grande maioria dos trabalhos foca apenas no D4 (Prever), utilizando métricas tradicionais adaptadas (como distâncias entre distribuições de probabilidade).
• Lacunas Críticas:
  • D2 e D3 (Reconhecer Tipo e Motivo): São extremamente subestudados. Poucos trabalhos distinguem explicitamente entre ambiguidade e polifonia ou investigam as razões da subjetividade.
  • D7 (Expressar): Nenhum dos artigos analisados investigou como expressar a subjetividade ao usuário de forma eficaz sem sobrecarregar a experiência.
  • Interdependência: Não há estudos sobre como o desempenho em um desiderato (ex.: D3) impacta o desempenho no próximo (ex.: D4).
• Métricas Dominantes: As métricas mais usadas são Distância (KL-divergência, Wasserstein) para distribuições de rótulos suaves, seguidas por F1 e Acurácia (frequentemente em cenários de agregação ou anotação única). Métricas de confiabilidade e viés demográfico são menos comuns.
• Dados: Os conjuntos de dados atuais ainda carecem de estratégias de anotação interdisciplinares para capturar a diversidade completa de perspectivas.

5. Significado e Implicações Futuras

Este trabalho é fundamental para o avanço ético e técnico do PLN:

• Mudança de Paradigma: Propõe mover-se de modelos que buscam uma "verdade única" para modelos que reconhecem e gerenciam a diversidade de opiniões humanas.
• Diretrizes para Pesquisa: Oferece um roteiro claro para futuros trabalhos, incentivando o desenvolvimento de métricas que avaliem a capacidade do modelo de identificar a natureza da subjetividade (ambiguidade vs. polifonia) e não apenas a precisão da previsão.
• Colaboração Interdisciplinar: Destaca a necessidade de integrar conhecimentos de Ciências Sociais, Filosofia Moral e Interação Humano-Computador (HCI) para criar dados e estratégias de anotação mais robustos.
• Aplicabilidade Real: Modelos que atendem a esses desejáveis serão mais seguros e justos em cenários reais, reduzindo o risco de marginalizar comunidades e melhorando a confiança do usuário em sistemas de IA.

Em resumo, o artigo argumenta que a avaliação de modelos de PLN não pode ser um processo "tamanho único". Para lidar com a subjetividade de forma eficaz, é necessário um conjunto de critérios que abranja desde a identificação da natureza da entrada até a apresentação final da resposta ao usuário, garantindo que todas as vozes, especialmente as minoritárias, sejam representadas.