Assessing Capabilities of Large Language Models in Social Media Analytics: A Multi-task Quest

Título: Evaluación de las Capacidades de los Modelos de Lenguaje Grande (LLM) en el Análisis de Redes Sociales: Una Búsqueda Multi-tarea

1. Problema y Contexto

El análisis de redes sociales (SMA) enfrenta desafíos críticos debido a la naturaleza compleja, informal y dinámica del contenido generado por usuarios (texto breve, jerga, memes, spam). Aunque los Modelos de Lenguaje Grande (LLM) han demostrado capacidades prometedoras en tareas generales de NLP, existe una falta de evaluación sistemática y unificada sobre su rendimiento específico en el contexto de las redes sociales.

El estudio identifica tres tareas fundamentales donde la capacidad de inferir y reconocer la identidad del usuario es crucial, pero que presentan dificultades particulares en plataformas como Twitter (X):

1. Verificación de Autoría: Determinar si un post fue escrito por un usuario específico (desafío por la brevedad y baja calidad del texto).
2. Generación de Publicaciones: Crear contenido sintético que refleje fielmente el estilo, tono y preferencias temáticas de un usuario real.
3. Inferencia de Atributos del Usuario: Predecir ocupaciones e intereses basándose únicamente en el contenido textual, enfrentando ambigüedad de etiquetas y clasificación granular.

2. Metodología

Los autores proponen un marco de evaluación unificado y reproducible utilizando un conjunto de datos de Twitter (X) que incluye grafos temporales de amistad y publicaciones de usuarios.

• Modelos Evaluados: Se compararon LLMs modernos (GPT-4, GPT-4o, GPT-3.5-Turbo, Gemini 1.5 Pro, DeepSeek-V3, Llama 3.2) contra baselines tradicionales (BERT, Random Forest, Siamese Networks, TF-IDF, etc.).
• Tarea I: Verificación de Autoría
  • Muestreo: Se diseñaron estrategias de muestreo controladas para usuarios positivos (aleatorios, activos recientes, más activos) y negativos (posts de otros usuarios).
  • Estrategias Negativas: Se probaron cinco estrategias para seleccionar posts negativos: aleatorio, temas similares (embedding), y basadas en el grafo social (seguidores, seguidos, recíprocos).
  • Validación de Generalización: Para mitigar el sesgo de "datos vistos" (data leakage), se evaluó el rendimiento en tweets publicados a partir de enero de 2024, fechas posteriores a los cortes de conocimiento de los modelos.
• Tarea II: Generación de Publicaciones
  • Selección de Usuarios: Se seleccionaron 383 usuarios "VAPOR" (Verificados, Activos, Ricos en Perfil, Originales) con perfiles detallados y alta actividad.
  • Proceso: Los LLMs generaron tweets basados en un prompt que incluía la biografía del usuario, estadísticas de seguidores y una muestra de sus tweets históricos.
  • Métricas: Se utilizaron métricas léxicas (BLEU, ROUGE), de fluidez (Perplejidad) y nuevas métricas de similitud semántica basadas en SBERT (AGR, ARG, AOS, GDR, RDR) para medir la cobertura y fidelidad.
• Tarea III: Inferencia de Atributos
  • Taxonomías Estándar: Se utilizaron dos taxonomías estandarizadas para etiquetar los datos de ground truth: la IAB Tech Lab Content Taxonomy v3.1 (intereses) y el Sistema de Clasificación Ocupacional Estándar (SOC) 2018 de EE. UU. (ocupaciones en niveles L1 y L2).
  • Anotación: Los atributos se anotaron manualmente en los perfiles de los usuarios VAPOR.
• Estudio de Usuarios (Puente entre Tareas I y II):
  • Se realizó un estudio con 12 participantes reales que evaluaron la autenticidad percibida de tweets generados por LLMs (basados en sus propios perfiles) frente a sus tweets reales, utilizando una escala de 5 puntos.

3. Contribuciones Clave

1. Primera Evaluación Unificada: Es el primer estudio que evalúa sistemáticamente múltiples LLMs modernos en las tres tareas fundamentales de SMA bajo un mismo marco.
2. Mitigación de Sesgo de Datos: Introducción de una evaluación rigurosa en datos "inéditos" (post-2024) para probar la generalización real más allá de los cortes de entrenamiento.
3. Protocolo de Evaluación de Generación: Desarrollo de un protocolo estructurado que combina métricas automáticas (semánticas, léxicas, de dispersión) con una evaluación humana de autenticidad.
4. Anclaje en Taxonomías Estándar: Uso de clasificaciones oficiales (IAB y SOC) para la inferencia de atributos, permitiendo un análisis jerárquico reproducible y alineado con estándares del mundo real.
5. Benchmark Reproducible: Publicación de código y datos para establecer un estándar en la investigación de LLMs en redes sociales.

4. Resultados Principales

• Verificación de Autoría:
  • GPT-4 obtuvo el mejor rendimiento general (F1 ponderado promedio de 0.845) y demostró la mayor robustez en datos no vistos (0.85).
  • Gemini y DeepSeek formaron un segundo nivel sólido (~0.75-0.80).
  • Los baselines tradicionales (Random Forest, TF-IDF) mostraron un rendimiento intermedio, mientras que modelos como Llama y BERT tuvieron un rendimiento más bajo y variable.
  • La estrategia de muestreo de posts negativos tuvo un impacto mayor en la precisión que la selección de usuarios.
• Generación de Publicaciones:
  • Existieron compensaciones (trade-offs) claras entre similitud semántica, fluidez y diversidad.
  • DeepSeek mostró la mayor alineación semántica con los posts reales, pero con menor fluidez (alta perplejidad).
  • Llama logró las puntuaciones más altas en BLEU/ROUGE (reutilización léxica), pero la menor similitud semántica global.
  • GPT-4o ofreció el perfil más equilibrado.
  • Estudio Humano: Gemini y Llama recibieron las puntuaciones más altas de autenticidad percibida por los usuarios reales, a pesar de que Llama tenía menor similitud semántica automática, sugiriendo que la reutilización léxica o el parafraseo efectivo pueden engañar mejor a los humanos que la alineación semántica pura.
• Inferencia de Atributos:
  • Gemini superó consistentemente a los demás modelos en la predicción de intereses y ocupaciones (ambos niveles L1 y L2).
  • La precisión disminuyó significativamente a medida que aumentaba la granularidad de la clasificación (de L1 a L2).
  • Llama tuvo un rendimiento muy pobre en esta tarea.

5. Significado e Implicaciones

Este trabajo establece un nuevo estándar para evaluar las capacidades y limitaciones de los LLMs en el análisis de redes sociales.

• Validación de Seguridad: Demuestra que los LLMs pueden ser herramientas poderosas para la detección de suplantación de identidad (autoría) y la creación de perfiles automatizados, pero también resaltan los riesgos de que estos modelos generen contenido tan convincente que sea indistinguible para los usuarios reales.
• Necesidad de Evaluación Multidimensional: Los resultados muestran que ninguna métrica automática única predice la autenticidad percibida por humanos; se requiere una combinación de métricas léxicas, semánticas y evaluaciones humanas.
• Dirección Futura: El estudio sugiere la necesidad de incorporar señales multimodales (imágenes, grafos sociales) y abordar los riesgos éticos de la suplantación de identidad y la profilación de privacidad.

En conclusión, el paper concluye que mientras GPT-4 es superior en tareas forenses de autoría, Gemini destaca en la inferencia de atributos y la generación de contenido percibido como auténtico, subrayando la importancia de un enfoque de evaluación controlado y multifacético.