Seeing Candidates at Scale: Multimodal LLMs for Visual Political Communication on Instagram

Resumen Técnico: Evaluación de Modelos Computacionales para el Análisis de Comunicación Política Visual

1. Planteamiento del Problema

La comunicación política visual (VPC) es fundamental en las campañas electorales modernas, especialmente en plataformas como Instagram. Sin embargo, el análisis de este contenido presenta desafíos metodológicos significativos:

• Escala: El volumen masivo de contenido visual (imágenes y videos) hace que la codificación manual sea inviable para estudios a gran escala.
• Formatos efímeros: Mientras que las publicaciones permanentes han sido estudiadas, los "Stories" (contenido que desaparece en 24 horas) permanecen subexplorados, a pesar de su importancia para la espontaneidad y la autenticidad.
• Concepto clave: El estudio se centra en la "visibilidad concentrada" (concentrated visibility), un subtipo de personalización política donde la atención se focaliza desproporcionadamente en líderes o candidatos principales ("front-runners") en lugar de en partidos o instituciones.
• Brecha tecnológica: Existe una necesidad de evaluar si los modelos de visión por computadora tradicionales (entrenados específicamente) pueden competir con los nuevos Modelos de Lenguaje Grandes Multimodales (MLLMs) como GPT-4o para tareas de reconocimiento de rostros y conteo de personas en contextos políticos.

2. Metodología

El estudio utiliza un enfoque de caso de estudio computacional basado en los datos de la campaña electoral federal alemana de 2021.

• Corpus de Datos:

  • Se recolectaron 1,424 Stories y 547 publicaciones (posts) de Instagram.
  • Fuentes: Cuentas oficiales de 5 partidos (CDU, CSU, SPD, GRÜNE, FDP) y las cuentas personales de sus respectivos candidatos principales (Armin Laschet, Annalena Baerbock, Olaf Scholz, Christian Lindner, Markus Söder).
  • Período: Del 12 al 25 de septiembre de 2021.
  • Preprocesamiento: Los videos se convirtieron en imágenes estáticas (primer fotograma) para el análisis.

• Tareas de Clasificación:

  1. Reconocimiento de Candidatos: Determinar si un candidato específico está presente en la imagen.
  2. Conteo de Personas: Cuantificar el número de personas visibles en el foco de la imagen (categorizado en 0, 1, 2, o 3+).

• Modelos Evaluados:

  • Visión por Computadora Tradicional:
    • RetinaFace: Para la detección de rostros.
    • FaceNet512: Para la verificación/reconocimiento de rostros (comparando vectores de características).
    • Google Cloud Vision API: Para detección de objetos (personas).
  • Modelo Multimodal (LLM):
    • GPT-4o (versión 2024-05-13): Utilizado mediante prompting (instrucciones de texto). Se diseñaron prompts específicos para verificar la presencia de un candidato y contar personas, solicitando salidas en formato JSON y justificaciones textuales.

• Validación (Ground Truth):

  • Se realizaron estudios de anotación humana con múltiples codificadores.
  • Se calculó el coeficiente alfa de Krippendorff para asegurar la fiabilidad de las etiquetas de referencia (acuerdos altos: $\alpha \approx 0.86-0.94$).
  • Las métricas de evaluación incluyeron Precisión, Recall, F1-Score (macro y ponderado) y matrices de confusión.

3. Contribuciones Clave

1. Comparativa de Modelos: Es uno de los primeros estudios que compara directamente modelos de visión por computadora especializados (FaceNet/RetinaFace) con MLLMs de última generación (GPT-4o) en el dominio de la comunicación política.
2. Análisis de Formatos: Diferencia sistemáticamente entre estrategias visuales en posts permanentes y stories efímeros, llenando un vacío en la literatura sobre formatos efímeros.
3. Marco Metodológico Reproducible: Propone un flujo de trabajo escalable para medir la "visibilidad concentrada" utilizando LLMs, demostrando que el prompting puede ser tan efectivo o más que el entrenamiento de modelos específicos, con menos requisitos técnicos de infraestructura.
4. Datos Abiertos: Aunque el corpus visual no se puede compartir por derechos de autor, los datos de anotación, los prompts, las salidas del modelo y los cuadernos de evaluación están disponibles públicamente.

4. Resultados Principales

A. Evaluación de Modelos (RQ1):

• Reconocimiento de Rostros: GPT-4o superó significativamente a FaceNet512.
  • GPT-4o: Macro F1-score de 0.89 en Stories y 0.91 en Posts.
  • FaceNet512: Macro F1-score de 0.74 en Stories y 0.87 en Posts.
  • Hallazgo crítico: FaceNet tuvo dificultades significativas con la candidata femenina (Annalena Baerbock), mostrando un F1 de 0.66 frente a 0.91 de GPT-4o, lo que sugiere sesgos de género en modelos tradicionales o diferencias en el estilo de presentación visual.
• Conteo de Personas: GPT-4o también superó a las APIs de detección de objetos.
  • GPT-4o: Macro F1-score de 0.86 en Stories.
  • RetinaFace y Google Vision: Obtuvieron puntuaciones mucho más bajas (alrededor de 0.48 - 0.58).
  • Causa de error: Los modelos tradicionales tendían a sobrecontar personas al detectar rostros en fondos, carteles o pantallas, mientras que GPT-4o logró entender mejor el contexto y centrarse en los sujetos principales.

B. Análisis de Visibilidad Concentrada (RQ2):

• Diferencias entre Cuentas: Las cuentas personales de los candidatos muestran una visibilidad concentrada mucho mayor que las cuentas de los partidos.
  • En Stories, los candidatos aparecen solos en un 33.5% de las imágenes, mientras que en las cuentas de partido solo en un 12.0%.
  • Existe una estrategia complementaria: los partidos usan más imágenes grupales o de eventos, mientras que los candidatos se centran en su imagen individual.
• Diferencias entre Formatos (Stories vs. Posts):
  • Los Posts tienden a tener un enfoque más profesional y estático, con mayor presencia de candidatos solos.
  • Los Stories muestran una mayor diversidad de formatos, pero las cuentas de partido subutilizan la oportunidad de mostrar a los candidatos de manera "detrás de escena" o informal, a pesar de las expectativas de los usuarios jóvenes.

5. Significado e Implicaciones

• Viabilidad de los LLMs: El estudio demuestra que los MLLMs como GPT-4o son herramientas viables y superiores para el análisis de contenido visual político a gran escala, ofreciendo una precisión cercana a la humana con menos esfuerzo de ingeniería de características.
• Accesibilidad vs. Privacidad: Se destaca una compensación (trade-off): los modelos de código abierto (FaceNet) permiten el procesamiento local y la privacidad de los datos, pero requieren hardware potente y expertise técnico. Los modelos comerciales (GPT-4o) son accesibles y potentes, pero plantean preocupaciones sobre la transparencia, la replicabilidad y la privacidad de los datos enviados a servidores de terceros.
• Sesgos y Contexto: El estudio resalta la importancia de considerar el contexto (ej. uso de mascarillas por la pandemia) y los sesgos de género en los algoritmos de visión.
• Futuro de la Investigación: Abre la puerta a estudios longitudinales sobre la auto-presentación visual y el encuadre político (visual framing) en redes sociales, utilizando métodos computacionales escalables.

En conclusión, la investigación valida el uso de modelos multimodales avanzados para automatizar el análisis de la comunicación política visual, revelando estrategias diferenciadas entre partidos y candidatos, y entre formatos permanentes y efímeros en Instagram.