💬 NLP

TruthStance: An Annotated Dataset of Conversations on Truth Social

O artigo apresenta o TruthStance, um grande conjunto de dados anotado de conversas na plataforma Truth Social (2023-2025) que inclui estrutura de árvores de resposta e rótulos para mineração de argumentos e detecção de postura, servindo como base para avaliar estratégias de modelos de linguagem e analisar padrões de discurso em plataformas alternativas.

Autores originais: Fathima Ameen, Danielle Brown, Manusha Malgareddy, Amanul Haque

Publicado 2026-02-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Fathima Ameen, Danielle Brown, Manusha Malgareddy, Amanul Haque

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que a internet é uma enorme praça pública onde todos gritam, conversam e debatem. A maioria dos estudos sobre como as pessoas discutem foca nas praças mais famosas, como o Twitter (agora X) e o Reddit. Mas, e se existisse uma praça menor, mas muito barulhenta e cheia de opiniões fortes, que ninguém estava estudando? Essa praça é o Truth Social.

Os autores deste trabalho, da Universidade Estadual da Carolina do Norte, decidiram entrar nessa praça e criar um "mapa" detalhado de como as pessoas conversam lá. Eles chamaram esse mapa de TruthStance.

Aqui está a explicação do que eles fizeram, usando analogias do dia a dia:

1. O Que é o TruthStance? (O Mapa do Tesouro)

Pense no Truth Social como uma árvore gigante. O tronco é a postagem original de alguém (o "pai"). Os galhos são os comentários que respondem a essa postagem, e os galhinhos menores são as respostas a esses comentários.

O Problema: Antes, os pesquisadores só tinham fotos soltas de galhos (postagens isoladas). Eles não conseguiam ver a árvore inteira.
A Solução: Eles coletaram 24.352 árvores inteiras (conversas completas) e mapearam mais de 523.000 galhos (comentários). É como se eles tivessem fotografado cada folha de cada árvore dessa floresta digital entre 2023 e 2025.

2. O Que Eles Procuraram? (Caçadores de Argumentos e Posturas)

Para entender a conversa, eles precisavam de dois tipos de "óculos especiais":

Óculos de Argumento: Eles queriam saber: "Essa pessoa está apenas reclamando ou está fazendo um argumento?"
- Analogia: Dizer "O dia está chato" é apenas um comentário. Dizer "O dia está chato porque o sol não saiu e isso atrapalha meu trabalho" é um argumento (uma afirmação + uma razão). Eles usaram inteligência artificial para identificar quais postagens tinham essa estrutura.
Óculos de Postura (Stance): Eles queriam saber: "Quando alguém responde, está concordando, discordando ou ficando neutro?"
- Analogia: Imagine que o pai da conversa diz: "A política X é ruim".
  - Se o filho diz "Sim, concordo!", é FOR (A favor).
  - Se o filho diz "Não, você está errado!", é AGAINST (Contra).
  - Se o filho diz "Hmm, interessante...", é NEUTRAL.

3. A Magia da Inteligência Artificial (Os Robôs Leitores)

Marcar manualmente 500.000 comentários seria como tentar ler todos os livros de uma biblioteca gigante em uma semana. Impossível para humanos sozinhos.

O Teste: Eles primeiro ensinaram a Inteligência Artificial (IA) usando 1.500 exemplos marcados por humanos (como um professor corrigindo provas).
O Resultado: Eles descobriram que certos "robôs" (modelos de linguagem) eram ótimos em entender o contexto. Um deles, o Gemini, foi o melhor aluno.
A Expansão: Com o melhor robô, eles conseguiram marcar automaticamente milhares de outras conversas, criando um banco de dados gigante para que outros pesquisadores possam estudar.

4. O Que Eles Descobriram? (As Surpresas da Floresta)

Ao analisar esse mapa, eles viram padrões interessantes:

Raiva gera Discussão: Postagens que usavam palavras mais "tóxicas" ou agressivas tinham muito mais chances de serem marcadas como argumentos sérios. É como se a raiva fosse o combustível que faz a conversa acender.
O Efeito do Galho Longo: Quanto mais fundo você vai na conversa (respostas a respostas a respostas), mais as pessoas tendem a ficar neutras.
- Analogia: No início da briga, todo mundo grita "Estou certo!" ou "Você está errado!". Mas, quanto mais a conversa se estica, as pessoas começam a apenas observar ou mudar de assunto, perdendo o foco da briga original.
O "Fã" Muda de Ideia: As pessoas que começavam concordando com o post original tendiam a ficar neutras com o tempo. Já as pessoas que começavam discordando, geralmente mantinham sua opinião de "contra" até o fim. É como se a discordância fosse mais "teimosa" que o acordo.

5. Por Que Isso Importa? (Para Que Serve Tudo Isso?)

Esse trabalho é como dar um microscópio para os cientistas sociais. Agora, eles podem:

Entender como as opiniões se formam em plataformas alternativas (que são diferentes do Twitter).
Estudar como o ódio e a toxicidade espalham ideias.
Criar ferramentas melhores para moderar conversas online.

Resumo Final

Os autores pegaram uma "ilha" da internet (Truth Social) que era pouco estudada, mapearam todas as suas conversas, usaram robôs inteligentes para entender quem está concordando ou discordando, e descobriram que a toxicidade gera mais debate, mas quanto mais longa a conversa, mais as pessoas tendem a ficar em silêncio ou neutras.

Eles deixaram todo esse mapa (o código e os dados) aberto para que qualquer pessoa responsável possa usá-lo para entender melhor como a humanidade conversa (e briga) online.

1. Problema e Motivação

O artigo aborda a lacuna na pesquisa de mineração de argumentos e detecção de postura (stance detection) em plataformas de "alt-tech" (tecnologias alternativas).

Limitação Atual: A maioria dos recursos públicos e conjuntos de dados foca em plataformas mainstream como Twitter e Reddit. Plataformas alternativas como Truth Social, Gab e Parler, que surgiram devido a percepções de viés ideológico e moderação excessiva nas principais redes, permanecem subestudadas.
Deficiência de Dados: Os poucos dados existentes do Truth Social consistem em posts isolados, carecendo da estrutura de conversação (fios de resposta). Sem essa estrutura, é impossível analisar fenômenos dialéticos como desacordo, persuasão ou a evolução da postura ao longo de uma conversa.
Desafio Técnico: A detecção de postura em conversas aninhadas (nested) é complexa. A postura de uma resposta profunda não pode ser inferida apenas olhando para o comentário isolado; depende do contexto do comentário "pai" imediato e da cadeia de respostas até a postagem original.

2. Metodologia

Os autores desenvolveram uma pipeline completa para coleta, processamento e anotação de dados:

Coleta e Enriquecimento de Dados:
- Basearam-se em um conjunto de dados existente do Truth Social (776k posts de 2024) e utilizaram a API da plataforma para coletar todos os comentários associados a esses posts.
- Recuperaram metadados de nível de autor (número de seguidores, seguidos, verificação).
- O resultado final é o TRUTHSTANCE: 24.352 threads de conversação (posts raiz) contendo 523.360 comentários, preservando a estrutura de árvore de resposta completa (período de 2023–2025).
Tarefas de Anotação:
1. Mineração de Argumentos (Argument Mining): Classificação binária para determinar se um post contém uma afirmação (claim) apoiada por pelo menos uma premissa.
2. Detecção de Postura Baseada em Afirmação (Claim-based Stance Detection): Classificação tripartite da postura de um comentário em relação ao seu comentário/post pai imediato:
  - FOR (A favor): Concorda ou reforça a afirmação.
  - AGAINST (Contra): Disputa ou desafia a afirmação.
  - NEUTRAL: Não expressa uma postura clara.
Anotação Humana e Avaliação de LLMs:
- Criaram um conjunto de ground truth com 1.500 amostras anotadas por humanos (acordo inter-anotador substancial, $\kappa \approx 0.70-0.76$ ).
- Avaliaram três Grandes Modelos de Linguagem (LLMs): Gemini-2.5-Flash, GPT-o3 e DeepSeek-v3.
- Testaram estratégias de prompting: Few-Shot (FS), Chain-of-Thought (CoT) e uma combinação (CoT+Few-Shot).
- Compararam os resultados com um baseline de Máquina de Vetores de Suporte (SVM) usando embeddings do modelo Qwen/Qwen3-Embedding-0.6B.
Anotação em Escala:
- Utilizaram a configuração de melhor desempenho (Gemini com CoT+Few-Shot) para gerar anotações automáticas para o restante do conjunto de dados (24.352 posts para mineração de argumentos e 107.873 comentários para postura).

3. Contribuições Principais

Dataset TRUTHSTANCE: O primeiro conjunto de dados de grande escala com threads de conversação completas do Truth Social, contendo mais de 500 mil comentários com estrutura de árvore preservada e metadados de autor.
Benchmark Anotado: Fornecimento de 1.500 rótulos de ground truth com acordo inter-anotador para mineração de argumentos e detecção de postura, servindo como base para avaliação de modelos.
Avaliação de LLMs: Demonstração de que LLMs com estratégias de prompting (especificamente CoT+Few-Shot) superam modelos supervisionados tradicionais (SVM) em tarefas de postura e argumentação neste domínio específico.
Análise Exploratória: Publicação de análises quantitativas e qualitativas sobre a dinâmica de argumentação, evolução da postura e características de engajamento na plataforma.

4. Resultados e Descobertas

Desempenho de Modelos: O modelo Gemini-2.5-Flash com estratégia CoT+Few-Shot obteve o melhor desempenho, alcançando um macro-F1 de 0.821 para mineração de argumentos e 0.783 para detecção de postura, superando o SVM e outros LLMs.
Fatores Preditivos de Argumentação:
- Toxicidade e Sentimento: São os preditores mais fortes. Posts com alta toxicidade têm muito mais probabilidade de serem classificados como argumentativos, enquanto posts com alto sentimento positivo (ou neutro) tendem a ser não argumentativos.
- Engajamento: O número de "retruths" (compartilhamentos) aumenta ligeiramente a probabilidade de um post ser argumentativo.
- Comprimento: Posts argumentativos tendem a ser mais longos.
Dinâmica de Postura nas Conversas:
- Profundidade: À medida que as conversas se aprofundam (maior profundidade de resposta), a proporção de respostas NEUTRAL aumenta significativamente, enquanto as posturas explícitas (FOR/AGAINST) diminuem. Isso sugere uma "deriva" do tópico ou manutenção conversacional em vez de debate direto.
- Assimetria de Mudança: Usuários que começam com postura FOR tendem a migrar para NEUTRAL ao longo das interações. Usuários com postura AGAINST tendem a manter sua oposição, mostrando menor flexibilidade.
- Tópicos: Os tópicos mais discutidos são relacionados a "MAGA", "Trump", "Biden" e "Democratas". A polarização de postura é consistente entre os tópicos, indicando que a divisão é uma característica geral da plataforma, não apenas de um tema específico.

5. Significado e Aplicações

Pioneirismo em Alt-Tech: Preenche uma lacuna crítica ao fornecer dados estruturados de uma plataforma que influencia ativamente o discurso político global, mas que era anteriormente invisível para a pesquisa acadêmica de mineração de texto.
Validação de LLMs: Confirma que LLMs são ferramentas viáveis e superiores para anotação em larga escala em domínios de nicho onde dados de treinamento supervisionado são escassos.
Aplicações Futuras: O dataset permite estudos sobre:
- Propagação de desinformação e polarização.
- Padrões de moderação e toxicidade em ambientes com pouca moderação.
- Comportamento de usuários em câmaras de eco ideológicas.
Ética e Privacidade: Os autores enfatizam o uso responsável, focando em estatísticas agregadas para evitar a identificação de indivíduos e alertando sobre riscos de uso indevido (como perfilamento político).

Em resumo, o TruthStance é um recurso fundamental para a compreensão da dinâmica de discurso em plataformas alternativas, combinando um dataset massivo com anotações de alta qualidade e insights sobre como a argumentação e a polarização se manifestam fora das redes sociais tradicionais.