Resumo Técnico: SUBDATA – Unindo Conjuntos de Dados Heterogêneos para a Avaliação de Alinhamento de Perspectiva de LLMs

1. Declaração do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) se tornam cada vez mais capazes de capturar perspectivas humanas matizadas, pesquisadores estão explorando sua utilidade em tarefas subjetivas, como a detecção de discurso de ódio. Um desafio crítico neste domínio é o alinhamento de perspectiva: a capacidade dos modelos de refletir diversos pontos de vista humanos (por exemplo, políticos ou demográficos) em diferentes contextos.

Os esforços atuais de avaliação são dificultados pela falta de recursos padronizados. Estudos frequentemente dependem de conjuntos de dados inconsistentes com esquemas de anotação e categorizações demográficas variadas, tornando difícil comparar como modelos com diferentes níveis de alinhamento performam em tarefas subsequentes. Além disso, as metodologias de avaliação existentes muitas vezes lutam contra a subjetividade inerente do "ground truth" (verdade fundamental) em tarefas como a detecção de discurso de ódio, onde as anotações humanas naturalmente divergem ao longo de linhas ideológicas. Há uma necessidade de um framework que permita uma avaliação sistemática e orientada por teoria de como o condicionamento de perspectiva influencia o comportamento do modelo sem depender de rótulos objetivos contestados.

2. Metodologia

O artigo propõe um framework de duas etapas para abordar esses desafios: Padronização de Conjuntos de Dados via a biblioteca SUBDATA, e Teste de Hipóteses Orientado por Teoria.

2.1 Construção da Biblioteca SUBDATA

A SUBDATA é uma biblioteca Python de código aberto projetada para coletar, harmonizar e padronizar conjuntos de dados heterogêneos para tarefas subjetivas.

• Coleta de Dados: Os autores empregaram uma abordagem de múltiplas fases para identificar conjuntos de dados que contêm anotações explícitas de grupos demográficos visados. Isso envolveu o aproveitamento de expertise de domínio, exame de repositórios existentes (ex: hatespeechdata.com) e condução de buscas sistemáticas na literatura.
• Critérios de Seleção: Os conjuntos de dados foram selecionados com base em seu foco em construtos subjetivos (discurso de ódio, toxicidade) e na presença de anotações granulares de grupos visados (ex: especificando "judeus" ou "mulheres" em vez de grupos genéricos "outros").
• Taxonomia Unificada: Para resolver as inconsistências de rotulagem entre dez conjuntos de dados selecionados (totalizando ~852.000 instâncias), a SUBDATA implementa uma taxonomia padronizada. Esta taxonomia mapeia diversas palavras-chave originais (ex: "Kikes", "Jewish people", "blacks") em categorias de alvo consistentes através de nove dimensões: idade, deficiência, gênero, migração, origem, política, raça, religião e sexualidade.
• Processamento: A biblioteca manipula os dados dividindo anotações de múltiplos alvos em instâncias separadas, removendo duplicatas e excluindo entradas sem grupos visados específicos. Ela não hospeda os conjuntos de dados brutos, mas fornece a lógica de mapeamento para unificá-los.

2.2 Framework de Avaliação Orientado por Teoria

Construído sobre dados padronizados, o framework propõe um fluxo de trabalho para testar hipóteses derivadas de teoria social ou política:

1. Teoria (T): Identificar teorias estabelecidas que preveem diferenças de percepção entre grupos demográficos ou ideológicos.
2. Hipótese (H): Formular hipóteses testáveis sobre como LLMs alinhados com perspectivas específicas classificarão o conteúdo.
3. Experimento (E): Conduzir experimentos controlados usando os conjuntos de dados padronizados para medir diferenças de classificação entre modelos diferentemente alinhados.

Esta abordagem evita a necessidade de consenso sobre rótulos de "ground truth". Em vez disso, mede a divergência nos outputs do modelo condicionados a diferentes perspectivas, fornecendo uma lente direta sobre como o condicionamento de perspectiva molda o comportamento subsequente.

3. Principais Contribuições

1. Biblioteca SUBDATA: Uma ferramenta de código aberto que padroniza conjuntos de dados de discurso de ódio heterogêneos, unificando esquemas de anotação e taxonomias demográficas para permitir análise consistente entre conjuntos de dados.
2. Taxonomia Unificada: Um sistema de mapeamento estruturado que resolve inconsistências na rotulagem de grupos visados (ex: mapeando "mexicanos" para categorias de raça ou origem dependendo do contexto) e introduz sufixos "não especificados" para rótulos genéricos.
3. Framework de Avaliação: Uma metodologia inovadora, orientada por teoria, para avaliar o alinhamento de perspectiva de LLMs que depende do comportamento comparativo do modelo em vez da adesão a um ground truth subjetivo.
4. Demonstração Empírica: Um caso de uso concreto aplicando o framework para testar como LLMs condicionados por persona (alinhados com posturas políticas de esquerda vs. direita) detectam discurso de io direcionado a grupos demográficos específicos.

4. Resultados Experimentais

Os autores aplicaram o framework a três LLMs de instrução open-source (Mistral-7B, Llama-3.1-8B, Qwen2.5-7B) usando 20 personas de inclinação à esquerda e 20 de inclinação à direita por modelo.

• Sensibilidade Assimétrica: Em todos os modelos e grupos visados, as personas orientadas à esquerda produziram consistentemente taxas de detecção de discurso de ódio mais altas do que as personas orientadas à direita. Esse efeito foi observado tanto para grupos minoritários (ex: Negros, Muçulmanos, LGBTQ+) quanto para grupos majoritários (ex: Brancos, Cristãos, Homens).
• Estreitamento Geral vs. Proteção Seletiva: Os resultados sugerem que o condicionamento de esquerda leva a um estreitamento geral dos limiares de classificação, em vez de uma proteção seletiva de grupos específicos. Isso contradiz a hipótese de que as personas de direita seriam mais protetoras de grupos majoritários.
• Variância do Modelo:
  • Mistral mostrou a divergência mais forte entre personas de esquerda e direita (Odds Ratio = 1.364).
  • Llama exibiu o menor efeito de persona (OR = 1.068), mas a maior taxa de detecção basal geral.
  • Qwen ficou entre os dois em termos de sensibilidade de persona, mas teve a menor detecção basal.
• Anomalias Específicas: O Llama mostrou uma proteção incomumente alta para Brancos (taxa de detecção de 0.656 sob personas de esquerda), potencialmente refletindo sua distribuição de treinamento centrada nos EUA, onde o discurso racial frequentemente centra em contrastes envolvendo Brancos.

5. Significância e Alegações

O artigo posiciona a SUBDATA como um recurso fundamental para o campo emergente do alinhamento de perspectiva de LLM. Sua significância reside em:

• Permitir Comparação Rigorosa: Ao padronizar os conjuntos de dados, permite que pesquisadores vão além de recursos inconsistentes e específicos de cada estudo para fazer afirmações cumulativas e comparáveis sobre o comportamento do modelo.
• Abordar a Subjetividade: O framework orientado por teoria reconhece a subjetividade inerente de tarefas como a detecção de discurso de ódio. Ele desloca a métrica de avaliação da "acurácia contra um ground truth contestado" para "diferenças quantificáveis no comportamento condicionado pela perspectiva".
• Construção de Comunidade: Os autores convidam a comunidade de pesquisa a contribuir com conjuntos de dados adicionais e estender a biblioteca além do discurso de ódio para outros construtos subjetivos (ex: desinformação), visando evoluir a SUBDATA para um conjunto de benchmarks abrangente de múltiplos construtos.

Os autores mantêm uma postura modesta, reconhecendo que a taxonomia atual envolve escolhas de mapeamento manuais e que a biblioteca agrega anotações existentes sem re-rotulagem. Eles enfatizam que a ferramenta foi desenhada para melhorar a transparência e o entendimento da avaliação, não para permitir a criação de sistemas prejudiciais ou enviesados.