Assessing Capabilities of Large Language Models in Social Media Analytics: A Multi-task Quest

Título: Avaliação das Capacidades de Grandes Modelos de Linguagem (LLMs) em Análise de Mídias Sociais: Uma Busca Multi-tarefa

1. Problema e Motivação

As plataformas de mídia social geram volumes massivos de conteúdo que oferecem insights valiosos para áreas como marketing, saúde pública e gestão de crises. No entanto, a análise desses dados enfrenta desafios críticos devido à complexidade, informalidade e ambiguidade do conteúdo gerado por usuários (ex.: gírias, memes, spam). Além disso, a linguagem das redes sociais evolui rapidamente, tornando modelos treinados em dados históricos obsoletos.

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado capacidades promissoras em tarefas de processamento de linguagem natural, falta uma avaliação abrangente e sistemática de como esses modelos modernos (como GPT-4, Gemini, DeepSeek, Llama) se comportam especificamente no contexto complexo e ruidoso da análise de mídias sociais. O estudo busca preencher essa lacuna avaliando três tarefas fundamentais inter-relacionadas que definem a identidade do usuário.

2. Metodologia

Os autores propõem um framework unificado de avaliação baseado em um conjunto de dados do Twitter (X) contendo mais de 120.000 usuários e suas interações temporais. A metodologia é dividida em três tarefas principais:

A. Verificação de Autoria em Mídias Sociais (Task I)

• Objetivo: Determinar se uma postagem foi escrita por um usuário específico ou por outro.
• Abordagem: Formulada como um problema de classificação binária.
• Estratégias de Amostragem:
  • Usuários Positivos: Selecionados aleatoriamente, usuários ativos recentemente ou os mais ativos.
  • Postagens Negativas: Amostradas de outros usuários usando estratégias como aleatória, similaridade de tópicos (baseada em embeddings) ou baseada no grafo social (seguidores, seguidos, mútuos).
• Mitigação de Viés: Para evitar o viés de "dados vistos" (data leakage), os modelos foram testados em tweets coletados a partir de janeiro de 2024, data posterior às datas de corte de conhecimento da maioria dos LLMs avaliados.

B. Geração de Postagens em Mídias Sociais (Task II)

• Objetivo: Avaliar a capacidade do LLM de gerar conteúdo autêntico que reflita o estilo, preferências tópicas e contexto social de um usuário real.
• Seleção de Usuários: Foco em usuários "VAPOR" (Verificados, Ativos, com Perfil Rico e Originais), garantindo dados de alta qualidade para o ground truth.
• Métricas de Avaliação:
  • Métricas Automáticas: BLEU, ROUGE (sobreposição léxica), Perplexidade (fluência) e métricas de similaridade semântica (SBERT) como AGR, ARG, AOS, GDR e RDR.
  • Estudo com Usuários: Um estudo humano onde os próprios usuários classificaram a autenticidade de tweets gerados por IA baseados em seus perfis, comparando com tweets reais.

C. Inferência de Atributos do Usuário (Task III)

• Objetivo: Prever ocupações e interesses com base apenas no conteúdo textual dos tweets.
• Taxonomias Padronizadas:
  • Interesses: Utilizando a taxonomia IAB Tech Lab Content Taxonomy v3.1.
  • Ocupações: Utilizando a Classificação Ocupacional Padrão dos EUA (SOC) de 2018 (níveis L1 e L2).
• Avaliação: Comparação da precisão e F1-score ponderado dos LLMs contra baselines tradicionais (classificadores estatísticos, modelos baseados em Word2Vec, etc.).

3. Contribuições Principais

1. Avaliação Unificada: Primeiro estudo a avaliar sistematicamente múltiplos LLMs modernos (GPT-4, GPT-4o, GPT-3.5, Gemini 1.5 Pro, DeepSeek-V3, Llama 3.2, BERT) em três tarefas centrais de análise de mídias sociais sob um mesmo framework.
2. Mitigação de Viés de Dados: Introdução de uma avaliação em dados "invisíveis" (pós-corte de conhecimento dos modelos) para testar a generalização real.
3. Protocolo de Geração Estruturado: Desenvolvimento de um protocolo rigoroso para geração condicional ao usuário, combinando métricas automáticas e julgamento humano.
4. Padronização de Atributos: Uso de taxonomias oficiais (IAB e SOC) para inferência de atributos, permitindo análise hierárquica e reprodutibilidade, diferentemente de abordagens anteriores que usavam categorias ad-hoc.
5. Benchmarks Reprodutíveis: Fornecimento de código e dados para estabelecer novos padrões de referência na área.

4. Resultados Chave

• Verificação de Autoria (Task I):

  • O GPT-4 obteve consistentemente o melhor desempenho (F1 médio de 0,845), superando significativamente baselines tradicionais e outros LLMs.
  • Gemini e DeepSeek formaram um segundo tier robusto.
  • Modelos como Llama e GPT-3.5-Turbo mostraram desempenho inferior e mais variável.
  • A estratégia de amostragem de postagens negativas teve um impacto maior na precisão do que a amostragem de usuários positivos.

• Geração de Postagens (Task II):

  • DeepSeek apresentou a maior similaridade semântica com os posts reais, mas com menor fluência (alta perplexidade).
  • Llama teve a melhor sobreposição léxica (BLEU/ROUGE), mas menor similaridade semântica geral.
  • GPT-4o ofereceu o perfil mais equilibrado, combinando boa similaridade semântica, ampla cobertura e baixa perplexidade entre os LLMs.
  • Estudo Humano: Gemini e Llama receberam as maiores classificações de autenticidade pelos usuários (média de 3,95/5), sugerindo que a reutilização léxica (Llama) e a imitação parafrástica (Gemini) são percebidas como mais autênticas do que a alinhamento puramente semântico (DeepSeek).

• Inferência de Atributos (Task III):

  • O Gemini obteve os melhores resultados gerais para interesses e ocupações em ambos os níveis de granularidade.
  • O desempenho dos modelos diminuiu significativamente à medida que a granularidade da classificação aumentava (de L1 para L2), destacando o desafio da classificação fina.
  • O Llama teve desempenho consistentemente inferior nesta tarefa.

5. Significância e Conclusão

O estudo estabelece que, embora os LLMs modernos superem os métodos tradicionais em tarefas de análise de mídias sociais, não existe um modelo "único" que seja o melhor em todas as dimensões.

• GPT-4 é superior para verificação forense de autoria.
• Gemini destaca-se na inferência de atributos e na percepção humana de autenticidade.
• DeepSeek é forte em alinhamento semântico, mas pode carecer de fluência natural.

O trabalho enfatiza a necessidade de amostragem controlada e avaliação multifacetada (automática e humana) para avaliar corretamente os LLMs em contextos de mídias sociais. Além disso, o estudo alerta para riscos éticos, como a possibilidade de impersonação e perfilamento sensível, recomendando que tais ferramentas sejam usadas estritamente para benchmarking e não para implantação desprotegida. O framework proposto serve como um ponto de partida robusto para futuras pesquisas que integrem sinais multimodais e dinâmicas de difusão de conteúdo.