Seeing Candidates at Scale: Multimodal LLMs for Visual Political Communication on Instagram

Resumo Técnico: Seeing Candidates at Scale

1. Problema e Contexto

A comunicação política visual (VPC) tornou-se central nas campanhas eleitorais modernas, especialmente no Instagram. No entanto, a análise de grandes volumes de conteúdo visual (posts e stories) apresenta desafios metodológicos significativos:

• Escala: A codificação manual é lenta e inviável para grandes conjuntos de dados.
• Formatos Efêmeros: Os stories (conteúdo que desaparece após 24 horas) são subexplorados em comparação aos posts permanentes, apesar de sua importância para a espontaneidade e engajamento.
• Viés e Precisão: Modelos tradicionais de visão computacional (como detecção de faces) frequentemente falham ao distinguir entre o sujeito principal e fundos, ou ao lidar com variações como máscaras faciais e ângulos diferentes.
• Conceito de "Visibilidade Concentrada": É necessário medir sistematicamente o foco desproporcional em líderes partidários (front-runners) em detrimento de outros políticos ou partidos, uma subdimensão da personalização política.

O estudo busca responder: Quão eficazmente os métodos computacionais podem automatizar a análise de conteúdo político visual no Instagram, especificamente na identificação de políticos e na contagem de indivíduos para medir a visibilidade concentrada?

2. Metodologia

2.1. Coleta de Dados e Corpus

• Período: Campanha eleitoral federal alemã de 2021 (12 a 25 de setembro).
• Fonte: Instagram de 5 partidos (CDU, CSU, SPD, GRÜNE, FDP) e seus respectivos candidatos/chanceleres.
• Volume: 1.424 stories e 547 posts (totalizando 957 imagens extraídas de vídeos e galerias).
• Unidade de Análise: Imagem (quadro inicial de vídeos).

2.2. Abordagem Computacional
O estudo compara três abordagens para duas tarefas principais: Reconhecimento Facial (identificar se um candidato específico está presente) e Contagem de Pessoas (quantificar o número de indivíduos no foco da imagem).

• Modelos Tradicionais (Deep Learning):
  • FaceNet512 + RetinaFace: Uma combinação de código aberto para detecção e reconhecimento facial.
  • Google Cloud Vision API: API comercial para detecção de objetos e faces.
• Modelo Multimodal (LLM):
  • GPT-4o (versão 2024-05-13): Um Grande Modelo de Linguagem Multimodal. Foi utilizado via prompting (engenharia de prompts) para verificar a presença de candidatos e contar pessoas, solicitando saídas estruturadas em JSON.

2.3. Validação e "Ground Truth"

• Anotação Humana: 13 anotadores humanos codificaram a presença de candidatos e 5 anotadores contaram o número de pessoas em subconjuntos dos dados.
• Métricas de Qualidade: Foi calculado o Alfa de Krippendorff para medir a concordância entre anotadores e entre os modelos e os humanos.
• Métricas de Desempenho: Precisão, Recall, F1-Score (Macro e Weighted) e Matrizes de Confusão.

3. Principais Contribuições

1. Avaliação Comparativa de Modelos: O estudo fornece uma comparação empírica direta entre modelos de visão computacional especializados (FaceNet, APIs comerciais) e LLMs multimodais (GPT-4o) no contexto de comunicação política.
2. Validação de LLMs para Ciência Social Computacional: Demonstra que o prompting de LLMs pode superar modelos tradicionais de visão computacional em tarefas complexas de interpretação visual (contexto, foco principal, exclusão de fundos).
3. Análise de "Visibilidade Concentrada" em Escala: Aplica a metodologia para quantificar como a visibilidade de front-runners varia entre contas de partido vs. contas de candidato, e entre stories vs. posts.
4. Framework Reprodutível: Disponibiliza prompts, fluxos de trabalho e métricas que permitem a replicação do estudo para outras eleições ou plataformas.

4. Resultados

4.1. Desempenho dos Modelos (RQ1)

• Reconhecimento Facial (RQ1a):
  • O GPT-4o superou significativamente o FaceNet512.
  • Score F1 Macro (Stories): GPT-4o (0,89) vs. FaceNet512 (0,74).
  • Score F1 Macro (Posts): GPT-4o (0,91) vs. FaceNet512 (0,87).
  • O GPT-4o mostrou maior robustez contra falsos positivos e negativos, especialmente em casos de máscaras faciais ou distâncias maiores, onde o FaceNet falhou (ex: recall de 0,50 para a candidata Annalena Baerbock com FaceNet vs. 0,90 com GPT-4o).
• Contagem de Pessoas (RQ1b):
  • O GPT-4o também foi superior na contagem (0, 1, 2, 3+ pessoas).
  • Score F1 Macro (Stories): GPT-4o (0,86) vs. Google Vision (0,58) e RetinaFace (0,48).
  • Problema dos Modelos Tradicionais: Tendiam a supercontar (overcounting) ao detectar rostos no fundo, em cartazes ou em telas de fundo. O GPT-4o, guiado pelo prompt, conseguiu distinguir melhor o "sujeito principal" do fundo.

4.2. Padrões de Visibilidade Concentrada (RQ2)

• Diferenças entre Contas (RQ2a):
  • Existem diferenças estatisticamente significativas entre contas de partido e contas de candidatos.
  • Contas de Candidatos: Focam muito mais no front-runner individual (ex: Markus Söder aparece sozinho em 56% dos seus stories).
  • Contas de Partido: Tendem a mostrar menos o candidato sozinho e mais grupos ou contextos partidários.
• Diferenças entre Formatos (RQ2b):
  • Stories vs. Posts: Há uma divergência estratégica.
  • Stories: Usados mais para branding pessoal e espontaneidade (maior foco no candidato individual).
  • Posts: Têm uma distribuição mais equilibrada, com mais conteúdo institucional e de grupo.
  • Partidos como CSU e SPD mostram estratégias visuais distintas entre os dois formatos, enquanto o FDP mantém uma estratégia mais consistente.

5. Significância e Implicações

• Superação da "Lacuna Sensorial": O estudo demonstra que LLMs multimodais podem superar a lacuna entre conceitos teóricos abstratos (como "foco no sujeito") e a saída bruta de algoritmos de visão computacional, graças à capacidade de raciocínio contextual do modelo.
• Acessibilidade vs. Controle:
  • Vantagem do GPT-4o: Fácil de implementar, não requer hardware especializado (GPU local) e oferece alta precisão com prompts simples.
  • Desvantagem: É um modelo proprietário ("caixa preta"), levantando questões sobre transparência, viés de treinamento e privacidade de dados.
  • Alternativa Open-Source: Modelos como FaceNet permitem processamento local e controle total, mas exigem expertise técnica e hardware potente, além de terem desempenho inferior em tarefas complexas de contexto.
• Viés de Gênero: O estudo observou que o FaceNet teve desempenho significativamente pior na única candidata feminina (Baerbock), possivelmente devido a vieses de gênero em conjuntos de dados de treinamento ou a diferenças no estilo de personalização visual (uso frequente de máscaras).
• Futuro da Pesquisa: O trabalho estabelece um novo padrão para a análise de comunicação política visual em escala, sugerindo que a combinação de LLMs com validação humana rigorosa é o caminho mais promissor para estudos longitudinais e comparativos.

Conclusão:
O artigo conclui que os LLMs multimodais (como o GPT-4o) são ferramentas superiores e mais acessíveis para a análise de visibilidade concentrada em redes sociais do que os modelos tradicionais de visão computacional, permitindo uma compreensão mais matizada das estratégias de personalização política em formatos efêmeros e permanentes.