BenCSSmark: Making the Social Sciences Count in LLM Research

Resumo Técnico: BenCSSmark: Tornando as Ciências Sociais Contáveis na Pesquisa com LLMs

1. Declaração do Problema

O artigo identifica uma lacuna crítica no cenário atual de avaliação de Modelos de Linguagem de Grande Escala (LLMs): a sub-representação sistemática de tarefas das ciências sociais em benchmarks mainstream. Embora os benchmarks sejam fundamentais para estruturar agendas de pesquisa em IA, reputações e resultados comerciais, eles focam predominantemente em tarefas tradicionais de Processamento de Linguagem Natural (PLN) (por exemplo, parafraseamento, reconhecimento de entidades nomeadas) ou em domínios especializados como medicina e direito. As ciências sociais (sociologia, ciência política, história, economia, etc.) estão amplamente ausentes.

Essa ausência cria um problema duplo:

1. Pontos Cegos na Avaliação: Os modelos raramente são testados em tarefas nuances, sensíveis ao contexto e situadas culturalmente que definem a investigação científica social. Consequentemente, os modelos mais avançados frequentemente lutam com tarefas que exigem robustez interpretativa, e não apenas recordação factual ou precisão.
2. Invisibilidade de Recursos: Conjuntos de dados de alta qualidade, rigorosamente anotados e gerados por cientistas sociais permanecem "invisíveis" para a comunidade de PLN. Esses conjuntos de dados estão frequentemente dispersos, não catalogados ou criados como coleções ad hoc para estudos específicos, carecendo da padronização necessária para inclusão em suítes de benchmarks. Além disso, as tarefas das ciências sociais frequentemente resistem à padronização devido à sua dependência de categorias específicas de contexto e à preservação de múltiplas, às vezes conflitantes, perspectivas de especialistas (perspectivismo), o que contrasta com a lógica de "única verdade fundamental" de muitos benchmarks existentes.

2. Metodologia: A Iniciativa BenCSSmark

Para abordar essa lacuna, os autores introduzem o BenCSSmark, um benchmark composto por conjuntos de dados derivados de projetos reais de ciência social computacional. A iniciativa faz parte do projeto "Pantagruel", visando desenvolver LLMs em língua francesa. A metodologia envolve um esforço colaborativo entre cientistas da computação e cientistas sociais para curar e estruturar esses recursos.

Estratégias de Coleta de Dados:
Os autores empregaram duas estratégias distintas para reunir dados:

• Produção de Novos Dados: Montagem de equipes de anotadores para gerar novos conjuntos de dados. Crucialmente, ao contrário das práticas padrão de PLN que frequentemente descartam discordâncias, essa abordagem preservou todas as anotações individuais juntamente com a decisão adjudicada para refletir a diversidade de pontos de vista.
• Curadoria de Anotações de Especialistas Existentes: Utilização de conjuntos de dados anotados por especialistas individuais de domínio (muitas vezes os próprios pesquisadores). Embora esses não possam ser avaliados usando métricas padrão de concordância entre anotadores, eles representam conhecimento de alta qualidade e específico de domínio, abrangendo vários tópicos e períodos históricos.

Princípios Orientadores:
O benchmark foi construído com base em três princípios centrais:

1. Representação da Diversidade: Seleção de tarefas de campos sub-representados (por exemplo, sociologia, ciência política) e respeito às abordagens disciplinares para tarefas como detecção de enquadramento (por exemplo, distinguir entre enquadramentos de mídias sociais e de jornais do século XX).
2. Variação Contextual e Temporal: Montagem de dados de gêneros diversos (mídias sociais, notícias, discursos políticos, rádio) e períodos históricos (final do século XX até o presente) para testar a adaptabilidade do modelo a categorias sociais e convenções discursivas em mudança.
3. Preservação do Perspectivismo: Para tarefas anotadas pela equipe, o benchmark fornece duas versões dos dados: uma com uma única verdade fundamental e outra mantendo todas as anotações individuais. Isso permite a avaliação da dificuldade da tarefa com base na concordância dos anotadores e apoia o chamado "perspectivista" por dados desagregados.

Estrutura de Dados e Taxonomia:
O BenCSSmark contém atualmente 27 conjuntos de dados (todos em francês). Os autores introduziram um novo sistema de dupla taxonomia:

• Categoria de Tarefa: Mapeia para terminologia padrão de PLN (por exemplo, classificação binária, detecção de intervalo, resolução de coreferência).
• Conceito: Identifica explicitamente o conceito específico das ciências sociais sendo capturado (por exemplo, "apelo à autoridade", "gênero", "promessas de reforma", "previsão política").
• Metadados: Inclui informações detalhadas sobre o gênero dos dados, escopo temporal, formação dos anotadores e contexto disciplinar.

As tarefas cobrem uma ampla gama de tipos, incluindo classificação binária/multiclasse, classificação multirrótulo, detecção de intervalo e resolução de coreferência. Os dados abrangem gêneros textuais como imprensa nacional, manifestos políticos, transcrições de rádio e resumos acadêmicos.

3. Contribuições Principais

• Benchmark BenCSSmark: A contribuição primária é a criação de um benchmark especificamente projetado para tarefas das ciências sociais, fechando a lacuna entre a avaliação de PLN e a investigação científica social.
• Estrutura Taxonômica: A introdução de um sistema de categorização dupla (tipo de tarefa de PLN vs. conceito de ciência social) para facilitar a comunicação e o intercâmbio entre cientistas da computação e cientistas sociais.
• Tratamento de Dados Perspectivistas: A inclusão de conjuntos de dados que preservam a discordância dos anotadores e múltiplos pontos de vista, desafiando o paradigma de "única verdade fundamental" e oferecendo um teste de estresse para a robustez interpretativa do modelo.
• Colaboração Interdisciplinar: O artigo demonstra um quadro prático para integrar cientistas sociais diretamente no design da avaliação de LLMs, indo além de usá-los meramente como auditores de viés.

4. Resultados e Status Atual

O artigo não apresenta resultados experimentais avaliando LLMs específicos no BenCSSmark. Em vez disso, apresenta a infraestrutura e a própria coleção de conjuntos de dados como o resultado.

• Disponibilidade de Conjuntos de Dados: O benchmark compreende 27 conjuntos de dados com tamanhos variados (de ~100 a ~28.000 unidades) e granularidades (frase, parágrafo, texto completo).
• Diversidade de Tarefas: A coleção inclui tanto categorias de PLN bem estudadas (por exemplo, detecção de discurso de ódio) aplicadas a conceitos inovadores das ciências sociais (por exemplo, distinguir comentários "críticos" de "odiosos" em contextos políticos) quanto tarefas únicas (por exemplo, detectar "promessas de reforma" em manifestos ou notícias musicais "prescritivas").
• Limitações Reconhecidas: Os autores afirmam explicitamente que o benchmark está atualmente fechado (devido a dados proprietários e preocupações com privacidade) e limitado à língua francesa e a formatos de mídia específicos. Eles reconhecem que a escala é atualmente limitada e que os dados ainda não estão totalmente abertos para download público.

5. Significado e Alegações

O artigo posiciona o BenCSSmark não como uma solução definitiva, mas como um primeiro passo provocativo e um convite à colaboração. Seu significado é enquadrado em torno de vários argumentos-chave:

• Teste de Estresse para IA: Os autores argumentam que as tarefas das ciências sociais servem como um "teste de estresse" para a IA, avaliando a capacidade de um modelo de navegar na ambiguidade, perspectivas conflitantes e significado dependente do contexto — dimensões frequentemente periféricas às avaliações padrão de PLN.
• Melhoria da Generalização: Ao integrar perspectivas das ciências sociais, os autores afirmam que os modelos podem alcançar melhor generalização e robustez, não apenas para tarefas das ciências sociais, mas potencialmente para aplicações mais amplas que exigem nuances culturais e contextuais.
• Benefício Recíproco: A iniciativa visa beneficiar ambas as comunidades: pesquisadores de PLN ganham acesso a dados ricos, detalhados e anotados por especialistas, enquanto cientistas sociais ganham acesso a modelos treinados em tarefas alinhadas com suas necessidades de pesquisa.
• Cautela Contra a "Benchmarquização": O artigo alerta modestamente contra os riscos da "benchmarquização", onde a padronização excessiva poderia sufocar o pluralismo e a nuance interpretativa essenciais às ciências sociais. Eles defendem benchmarks que permitam avaliação filtrada (por disciplina, tempo, cultura) em vez de colapsar resultados em uma única pontuação agregada.

Em conclusão, o artigo argumenta que tornar as ciências sociais "contáveis" na pesquisa com LLMs é essencial para desenvolver sistemas de IA mais robustos, transparentes e socialmente relevantes, e que o BenCSSmark fornece a infraestrutura necessária para iniciar esse diálogo.