A Decade of News Forum Interactions: Threaded Conversations, Signed Votes, and Topical Tags

Este artigo apresenta um grande conjunto de dados longitudinal e anonimizado, abrangendo uma década (2013-2022) de interações no fórum de notícias do jornal austríaco DerStandard, que inclui mais de 75 milhões de comentários e 400 milhões de votos para facilitar a análise de dinâmicas de discussão, estruturas de rede e análises semânticas em alemão, preservando a privacidade dos usuários através da disponibilização apenas de representações vetoriais pré-calculadas em vez dos textos brutos.

O essencial

Imagine que você tem uma máquina do tempo que permite viajar por 10 anos de conversas públicas na Áustria, sem precisar ler uma única palavra escrita por ninguém. Isso é, essencialmente, o que os autores deste artigo criaram.

Eles compilaram um "tesouro" de dados chamado "Uma Década de Interações em Fóruns de Notícias", focado no site do jornal austríaco DerStandard.

Aqui está a explicação simples, usando algumas analogias divertidas:

1. O Grande Baú de Conversas (O Dataset)

Pense no site do DerStandard como uma praça pública gigante e movimentada. Entre 2013 e 2022, milhões de pessoas foram até lá para discutir notícias.

• O que tem no baú: Mais de 75 milhões de comentários (como se fossem bilhetes deixados na praça) e 400 milhões de votos (pessoas levantando a mão para dizer "gostei" ou "não gostei").
• Por que é especial: Diferente do Twitter ou Facebook, onde as conversas podem ser caóticas e fugir rápido, este é um fórum de jornal. É como uma biblioteca de debates: as pessoas discutem notícias reais, com moderadores cuidando para que a conversa não vire uma briga de rua, e tudo fica organizado em "fios" (respostas dentro de respostas).

2. O Problema do "Segredo" (Privacidade)

Aqui entra o grande desafio: como compartilhar esses bilhetes sem revelar quem escreveu o quê? Se mostrássemos o texto original, poderíamos identificar as pessoas, o que violaria a privacidade delas.

A Solução Mágica (Embeddings):
Em vez de entregar o texto original (o "bolo"), os pesquisadores fizeram uma fotografia digital do sabor do texto.

• Eles usaram uma inteligência artificial (um modelo chamado KaLM) para ler cada um dos 75 milhões de comentários e transformá-los em uma lista de números (vetores).
• A Analogia: Imagine que você não pode mostrar a receita secreta da sua avia, mas pode entregar um "código de barras" que diz: "Isso é um bolo de chocolate, doce, com nozes". O código não revela a receita, mas permite que você saiba se dois bolos são parecidos.
• Assim, os pesquisadores podem estudar o que as pessoas discutem (política, futebol, economia) e como elas se sentem, sem nunca ver o nome ou o texto exato de ninguém.

3. O Sistema de Votação (O Termômetro Social)

No fórum, cada comentário tem um sistema de votos: verde para "concordo" e vermelho para "discordo".

• A Analogia: Imagine que cada comentário é uma pessoa em uma sala. Se a maioria levanta a mão verde, a pessoa está "no topo da sala". Se a maioria levanta a mão vermelha, ela está "no fundo".
• Isso é raro na internet! Geralmente, sabemos apenas o que foi dito, mas não sabemos se as pessoas concordaram ou não. Aqui, temos um mapa de concordância e discordância em tempo real. Isso ajuda a ver onde a sociedade está dividida (polarizada) e onde há consenso.

4. Por que isso é importante? (O Uso)

Os pesquisadores criaram este "baú" para ajudar outros cientistas a entenderem a sociedade, como se fosse um laboratório de comportamento humano.

• Língua: A maioria dos estudos grandes é em inglês (EUA). Este é focado no alemão, permitindo entender a cultura e a política da Europa Central.
• Eventos: O período cobre coisas grandes como a pandemia de coronavírus, eleições e crises.
• Conexões: Como os comentários estão ligados a notícias específicas (com etiquetas como "Economia", "Política", "Esporte"), os pesquisadores podem ver como um evento real (ex: uma lei nova) muda a conversa na internet.

5. O "Mapa das Facções"

Os autores também mapearam como os usuários se dividem. Eles descobriram que, ao longo dos anos, a comunidade se dividiu em dois grandes grupos (facções) que tendem a discordar um do outro em quase tudo. É como se a praça pública tivesse dois lados que raramente conversam amigavelmente. O dataset permite que outros estudiosos analisem essa divisão.

Resumo Final

Este artigo é como entregar para o mundo um mapa de tesouro de uma década de conversas austríacas.

• O Tesouro: 75 milhões de opiniões e 400 milhões de reações.
• O Segredo: O texto original está trancado para proteger a privacidade, mas o "mapa do sabor" (os vetores matemáticos) está aberto para todos.
• O Objetivo: Permitir que cientistas sociais, cientistas de dados e historiadores estudem como as pessoas pensam, discutem e se dividem, sem precisar invadir a privacidade de ninguém.

É uma ferramenta poderosa para entender a alma digital de uma nação, mantendo o anonimato de cada cidadão.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "A Decade of News Forum Interactions: Threaded Conversations, Signed Votes, and Topical Tags", traduzido e adaptado para o português:

Título do Estudo

Uma Década de Interações em Fóruns de Notícias: Conversas Encadeadas, Votos Assinados e Tags Tópicas

1. Problema e Contexto

O acesso a dados de mídias sociais para pesquisa acadêmica tornou-se cada vez mais restrito devido ao fechamento de APIs públicas por plataformas comerciais (como Twitter/X) e à volatilidade dos usuários e focos temáticos nessas redes. Embora as seções de comentários em sites de notícias sejam uma alternativa estável e valiosa para estudar o discurso público, a maioria dos conjuntos de dados disponíveis foca no inglês ou carece de metadados estruturados (como votos explícitos e hierarquias de tópicos) em larga escala. Além disso, a privacidade dos usuários e a proteção de dados (GDPR) dificultam a partilha de textos brutos, limitando a reprodutibilidade de análises semânticas.

Este trabalho aborda a necessidade de um conjunto de dados longitudinal, de grande escala e estruturado, focado em uma língua de recursos médios (o alemão, especificamente no contexto austríaco), que permita a análise de dinâmicas de discussão, redes sociais e polarização sem violar a privacidade dos usuários.

2. Metodologia

• Fonte de Dados: O estudo utiliza dados da plataforma online do DerStandard, um dos principais jornais austríacos, cobrindo um período de dez anos (2013–2022).
• Coleta de Dados (Web Scraping):
  • Os dados foram extraídos de requisições HTML padrão para o domínio público (derstandard.at), sem necessidade de login.
  • Utilizaram-se scripts baseados em curl, xidel (para XPath) e jq (para JSON) para extrair comentários, votos, metadados de artigos e tags editoriais.
  • Os dados foram convertidos para o formato TSV (Tab-Separated Values).
• Anonimização e Privacidade:
  • Identificadores: Todos os identificadores persistentes (IDs de usuários e comentários) foram anonimizados usando uma função de hash criptográfico salgado (algoritmo BLAKE2s com um salt fixo e não divulgado). Isso permite manter a integridade relacional (ex: vincular votos a usuários) sem revelar a identidade real.
  • Texto: O texto bruto dos comentários não é compartilhado.
  • Embeddings: Para permitir análises semânticas sem expor o texto, foram gerados vetores de representação densa (embeddings) para cada um dos mais de 75 milhões de comentários.
• Processamento de Embeddings:
  • Modelo utilizado: "KaLM-embedding-multilingual-mini-v1" (da Hugging Face), especializado em multilinguismo e otimizado para benchmarks como o MTEB.
  • Dimensão do vetor: 896 dimensões.
  • Infraestrutura: Processamento em CPU em clusters de alto desempenho, dividindo o corpus em 24 chunks por mês para inferência paralela.
• Estrutura do Dataset:
  • Dados organizados em arquivos separados por tipo (Artigos, Comentários, Usuários, Votos, Embeddings) e resolução temporal (mensal ou anual).
  • Inclui metadados agregados de usuários (total de votos dados/recebidos, tempo de atividade) e informações de estrutura de threads (profundidade, comentário raiz).

3. Principais Contribuições

• Escala e Longitudinalidade: Um conjunto de dados contínuo de 10 anos com 75,6 milhões de comentários, 412,5 milhões de votos e 586.942 artigos.
• Dados Estruturados Únicos:
  • Votos Assinados: Diferente de muitas plataformas, o dataset inclui explicitamente votos positivos (upvotes) e negativos (downvotes), permitindo a construção de redes sociais "assinadas" (signed networks) para analisar concordância e discordância.
  • Hierarquia de Tópicos: Metadados editoriais com tags em três níveis hierárquicos, permitindo a segmentação de discussões por áreas políticas, atores ou eventos específicos.
  • Contexto Alemão: Preenche uma lacuna em grandes conjuntos de dados de mídia social, focando no alemão (língua falada por ~100 milhões de pessoas) e no contexto sociopolítico da Áustria.
• Privacidade com Utilidade Científica: A estratégia de compartilhar apenas embeddings pré-computados, em vez de texto bruto, permite pesquisas de NLP e análise semântica robusta enquanto protege a privacidade dos usuários e evita a reidentificação.
• Integração com Trabalhos Anteriores: O dataset inclui mapeamentos para estudos anteriores sobre polarização afetiva (identificando duas facções principais de usuários) e correlações com outros corpora anotados (como One Million Post Corpus e GERMS-AT).

4. Resultados e Validação Técnica

• Validação dos Embeddings:
  • Estrutura Conversacional: A análise de similaridade cosseno mostrou que os embeddings capturam corretamente a proximidade estrutural: comentários de respostas diretas têm maior similaridade do que comentários no mesmo thread, que por sua vez são mais similares do que comentários em threads diferentes.
  • Coesão Temática: Comentários sob a mesma tag editorial exibem maior coerência semântica do que entre tags diferentes. Tópicos focados (ex: futebol, refugiados) mostraram clusters mais compactos em visualizações t-SNE.
• Consistência Interna:
  • O dataset foi validado quanto a integridade referencial (ex: IDs de comentários nos arquivos de votos existem nos arquivos de comentários).
  • Foram identificados e documentados casos de inconsistências menores (ex: ~0,5% de comentários com IDs de artigos deletados ou timestamps ligeiramente anteriores ao artigo), que são fornecidos em arquivos separados para que os pesquisadores possam filtrá-los se necessário.
• Estatísticas de Uso:
  • Cerca de 52% dos usuários votaram mais de 10 vezes e 36% comentaram mais de 10 vezes.
  • Apenas ~0,45% dos usuários permaneceram ativos durante os 10 anos completos, refletindo a dinâmica de rotatividade típica de fóruns online.

5. Significado e Impacto

Este dataset é um recurso fundamental para a Ciência Social Computacional, Análise de Redes e Processamento de Linguagem Natural (NLP).

• Polarização e Dinâmica Social: A disponibilidade de votos explícitos permite estudar a polarização afetiva e a formação de facções ideológicas de forma mais direta do que em plataformas onde a interação é apenas implícita (como curtidas ou repostagens).
• Língua de Recursos Médios: Oferece uma base robusta para treinar e avaliar modelos de linguagem em alemão, um idioma com recursos significativos, mas menos representado em grandes corpora globais comparado ao inglês.
• Reprodutibilidade e Ética: Ao fornecer embeddings em vez de texto, o estudo estabelece um novo padrão para a partilha de dados sensíveis de redes sociais, equilibrando a necessidade de dados para pesquisa com a proteção rigorosa da privacidade dos usuários.
• Aplicações: O dataset já foi utilizado para monitoramento em tempo real de expressões afetivas durante a pandemia, correlação entre análise de sentimentos e pesquisas tradicionais, e identificação de divisões sociais profundas na Áustria.

O conjunto de dados está disponível publicamente no repositório BSC Dataverse sob licença CC-BY, incluindo scripts de exemplo para processamento e acesso aos dados.