Creation of the Estonian Subjectivity Dataset: Assessing the Degree of Subjectivity on a Scale

Resumo Técnico: Criação do Conjunto de Dados de Subjetividade do Estoniano

Definição do Problema
A análise de subjetividade é uma tarefa fundamental no Processamento de Linguagem Natural (PLN) para compreender opiniões, atitudes e perspectivas humanas. Embora os conjuntos de dados existentes frequentemente dependam de classificação binária (objetivo vs. subjetivo) ou análise ao nível da frase, a percepção humana de subjetividade é inerentemente gradual e existe em um continuum. Além disso, há uma carência de recursos para línguas de baixos recursos; especificamente, não existia nenhum conjunto de dados de subjetividade para o estoniano antes deste trabalho. O desafio reside na criação de um conjunto de dados confiável que capture a nuance da subjetividade em uma escala contínua, abordando simultaneamente a variabilidade inerente à anotação humana e explorando a viabilidade de automatizar este processo utilizando Grandes Modelos de Linguagem (LLMs).

Metodologia
Os autores construíram o Conjunto de Dados de Subjetividade do Estoniano, composto por 1.000 documentos classificados em uma escala contínua de 0 (totalmente objetivo) a 100 (totalmente subjetivo).

• Coleta de Dados: O conjunto de dados inclui 300 textos jornalísticos (150 artigos de notícias, 150 artigos de opinião) e 700 textos da web selecionados aleatoriamente do Corpus Nacional de 2021 do Estoniano. Os textos foram limitados a 100–6.000 caracteres para garantir uma análise significativa, mantendo o foco do anotador. O corpus abrange diversos gêneros, incluindo publicidade, redes sociais, textos jurídicos e literatura.
• Protocolo de Anotação:
  • Estudo Piloto: Um estudo preliminar com 60 textos validou a escala contínua e a seleção de fontes (variando de radiodifusão pública neutra a mídia alternativa opinativa).
  • Anotação Principal: Três anotadores (A1, A2, A3) classificaram o conjunto de dados completo de 1.000 textos usando uma escala deslizante em um ambiente de pesquisa. Eles também forneceram classificações de confiança ("nada certo" a "inteiramente certo").
  • Reanotação: Para investigar a alta discordância entre anotadores, um subconjunto de 250 textos (selecionados por divergências extremas de pontuação) foi reanotado por dois dos anotadores originais após um intervalo de quatro meses.
  • Quarto Anotador: Um quarto anotador (A4), que participou do piloto, foi recrutado para anotar o conjunto de dados completo para melhorar a confiabilidade da agregação de pontuação.
• Experimento com LLM: Os autores utilizaram o GPT-5 para anotar todo o conjunto de dados de 1.000 textos. O modelo foi instruído a atribuir uma pontuação (0–100) e fornecer uma justificativa. Para avaliar a consistência, o conjunto de dados foi processado em três lotes separados, e as pontuações foram calculadas pela média.

Principais Contribuições

1. Primeiro Conjunto de Dados de Subjetividade do Estoniano: A criação de um conjunto de dados de subjetividade ao nível do documento para o estoniano, anotado em uma escala contínua de 0–100 em vez de uma categoria binária.
2. Análise da Variabilidade de Anotação: Um exame detalhado da concordância entre anotadores, revelando que, embora as correlações sejam moderadas, elas são estatisticamente significativas. O estudo identifica que a extensão do texto e o gênero influenciam a consistência da anotação de formas distintas.
3. Efeitos de Contexto: O artigo documenta a influência do contexto de anotação (a sequência de textos apresentados) na pontuação humana, observando que os anotadores podem ajustar inconscientemente suas escalas internas com base nos textos precedentes.
4. Comparação Humano-LLM: Uma comparação empírica entre as anotações humanas e as saídas do GPT-5, destacando divergências sistemáticas específicas na forma como humanos e modelos interpretam pistas de subjetividade.

Resultos

• Concordância entre Anotadores: As correlações iniciais entre os três anotadores primários foram moderadas (Pearson's r variando de 0,525 a 0,627). A reanotação do subconjunto de alta discordância melhorou a concordância entre os dois participantes que reanotaram para r = 0,678. O quarto anotador mostrou correlações consistentes (0,627–0,675) com o grupo inicial.
• Fatores que Influenciam as Pontuações:
  • Extensão do Texto: Textos mais longos foram geralmente classificados como mais subjetivos, embora essa correlação varie significativamente por gênero (ex.: forte em textos jurídicos, negligenciável em notícias).
  • Contexto: Os anotadores relataram que pontuar uma série de textos subjetivos os tornou mais sensíveis à objetividade em textos subsequentes, sugerindo efeitos de sequência.
  • Confiança: As classificações de confiança dos anotadores não correlacionaram fortemente com o grau de discordância entre os anotadores.
• Desempenho do LLM: O GPT-5 demonstrou alta consistência interna em três execuções (Pearson's r ≈ 0,98). No entanto, quando comparado a humanos, o modelo apresentou padrões distintos:
  • Intervalo de Pontuação: O GPT-5 raramente atribuiu pontuações acima de 98, enquanto os humanos utilizaram o intervalo completo de 0–100.
  • Citações: O GPT-5 tendeu a classificar textos que contêm citações diretas (comuns em notícias) como mais subjetivos do que os humanos, provavelmente interpretando o conteúdo citado como parte da subjetividade do texto, em vez de um fato relatado.
  • Tom vs. Conteúdo: Humanos classificaram textos com linguagem coloquial, gírias e emoticons (ex.: postagens de fóruns) como altamente subjetivos. O GPT-5 focou mais no conteúdo factual, atribuindo pontuações de subjetividade mais baixas a esses textos.

Significância e Alegações
O artigo afirma que o conjunto de dados criado é um recurso válido e útil para a pesquisa linguística e para o desenvolvimento de sistemas automáticos de detecção de subjetividade. Os autores sustentam que:

• Os anotadores humanos podem usar consistentemente uma escala numérica contínua para subjetividade, apesar da discordância moderada entre anotadores.
• A pontuação de subjetividade automática baseada em LLM é viável e produz pontuações plausíveis que correlacionam moderadamente com as classificações humanas.
• No entanto, os LLMs não são uma alternativa intercambiável à anotação humana. O estudo conclui que os LLMs dependem de pistas diferentes (ex.: priorizando o conteúdo sobre o tom) em comparação aos humanos. Portanto, embora os LLMs possam complementar os esforços humanos em aplicações que exigem velocidade e automação, eles ainda não podem substituir os anotadores humanos em tarefas que exigem uma compreensão da subjetividade mais matizada e humana, particularmente em pesquisas linguísticas ou interpretativas.

Os autores enfatizam que o trabalho futuro deve focar na expansão do conjunto de dados com anotações humanas adicionais para melhor compreender os efeitos de contexto e no refinamento da engenharia de prompt para reduzir as discrepâncias entre humanos e LLMs.