From Codebooks to VLMs: Evaluating Automated Visual Discourse Analysis for Climate Change on Social Media

Título: De Codebooks a VLMs: Avaliação da Análise Automatizada de Discurso Visual sobre Mudanças Climáticas em Redes Sociais

1. Problema e Motivação

As plataformas de mídia social tornaram-se arenas primárias para a comunicação sobre mudanças climáticas, gerando milhões de imagens diárias que influenciam a percepção pública, a atribuição de responsabilidade e a urgência da ação. No entanto, a pesquisa computacional existente sobre o discurso climático é predominantemente focada em texto, deixando uma "ponto cego" crítico: o conteúdo visual (fotos, infográficos, memes, visualizações de dados).

A análise manual desse volume massivo de dados é inviável devido aos custos e à escala (ex: mais de 500.000 imagens compartilhadas anualmente apenas no X/Twitter). Embora modelos de visão computacional tenham avançado, não há uma avaliação sistemática sobre se os Modelos de Linguagem e Visão (VLMs) modernos podem substituir ou auxiliar a anotação manual baseada em codebooks (livros de códigos) das ciências sociais, que são frequentemente teoricamente fundamentados, hierárquicos e culturalmente contingentes, diferindo dos benchmarks padrão de visão computacional.

2. Metodologia

Os autores propõem um framework de avaliação abrangente para analisar a viabilidade dos VLMs na análise de discurso visual climático.

2.1 Dados

O estudo utiliza dois conjuntos de dados extraídos do X (antigo Twitter) contendo postagens com termos relacionados a "mudança climática" entre 2019 e 2022:

1. ClimateCT (1.038 imagens): Um conjunto de imagens populares, altamente anotado por especialistas em ciências sociais (padrão-ouro).
2. ClimateTV (1,2 milhão de imagens): Um corpus maior e mais heterogêneo, contendo a primeira imagem de cada tweet relevante. Deste conjunto, 50.000 imagens foram validadas manualmente por trabalhadores de QualityMatch para servir como ground truth para avaliação em larga escala.

2.2 Esquema de Anotação

O estudo adota um esquema de anotação multidimensional (5 supercategorias), derivado de codebooks de ciências sociais, que inclui:

• Animais: (ex: ursos polares, mamíferos terrestres, nenhum animal).
• Ação Climática: (ex: protesto, política, energia sustentável, nenhuma ação).
• Consequências: (ex: perda de biodiversidade, secas, inundações, aumento do nível do mar).
• Cenário (Setting): (ex: residencial, industrial, arctic/antártico, espaço).
• Tipo: (ex: foto, meme, infográfico, visualização de dados).

2.3 Modelos e Avaliação

• Modelos Testados: 6 VLMs promptáveis (incluindo Gemini-3.1-flash-lite, GPT-5.4-mini, Qwen3, Gemma) e 15 modelos zero-shot baseados em CLIP.
• Métricas: Além da precisão macro e micro, os autores utilizam métricas de divergência de distribuição (Divergência de Jensen-Shannon, Variação Total, Distância Qui-quadrado) para avaliar se os modelos conseguem recuperar tendências populacionais, mesmo com erros em nível de imagem individual.
• Engenharia de Prompt: Realizou-se uma ablação sistemática variando:
  • Comprimento das descrições (curto vs. longo com exemplos).
  • Inclusão de definições de supercategorias.
  • Gatilho de Chain-of-Thought (raciocínio passo a passo).
  • Instruções de localização espacial (foco no primeiro plano vs. fundo).

3. Contribuições Principais

1. Avaliação Sistemática: Primeira comparação abrangente de VLMs e modelos CLIP para anotação de imagens climáticas em redes sociais, cobrindo todo o espectro de tipologias visuais.
2. Validação em Larga Escala: Criação e disponibilização pública de um conjunto de dados com 50.000 imagens validadas manualmente e 1,2 milhão de imagens com rótulos automáticos, junto com os IDs dos tweets e o código.
3. Novas Métricas para Ciências Sociais: Defesa da avaliação distribucional (análise de tendências de população) como métrica primária para pesquisas de ciências sociais, argumentando que a precisão em nível de imagem individual é menos crítica do que a fidelidade da distribuição global de rótulos.
4. Diretrizes de Engenharia de Prompt: Descoberta de que o Chain-of-Thought (raciocínio explícito) pode reduzir o desempenho em tarefas de classificação visual bem definidas, e que o design do prompt deve ser adaptado à abstração da categoria (ex: prompts curtos para "Tipo", prompts longos com explicações para "Consequências").

4. Resultados Chave

Desempenho dos Modelos

• Gemini-3.1-flash-lite superou consistentemente todos os outros modelos em ambas as bases de dados e em todas as supercategorias.
• O desempenho do modelo aberto Qwen3-8B foi comparável ou superior ao GPT-5.4-mini em várias categorias, desafiando a noção de que modelos maiores são sempre melhores.
• Modelos baseados em CLIP (zero-shot) apresentaram desempenho significativamente inferior (até 0,29 pontos a menos em precisão macro) e lutaram particularmente para prever classes negativas (ex: "nenhuma consequência").

Impacto do Design da Taxonomia (RQ2)

• Há confusão sistemática entre categorias semanticamente próximas (ex: "inundações" vs. "aumento do nível do mar"; "perda de biodiversidade" vs. "secas").
• As categorias "Outro" e "Nenhum" aparecem frequentemente nos pares de confusão, indicando que os modelos tendem a superprever categorias gerais em detrimento de categorias específicas.
• O esquema de anotação (codebook) é tão importante quanto a escolha do modelo; categorias com níveis de abstração inconsistentes degradam o desempenho.

Eficácia do Prompt (RQ4)

• Chain-of-Thought: A adição de instruções para "pensar passo a passo" reduziu o desempenho na maioria das categorias, introduzindo ruído.
• Explicações: Categorias abstratas (como "Ação Climática" e "Consequências") beneficiaram-se enormemente de prompts longos com exemplos e definições (+0,3 de ganho de precisão).
• Categorias Visuais: Para categorias visualmente autoexplicativas (como "Tipo" de imagem), prompts curtos foram suficientes.

Avaliação Distribucional (RQ1)

• Embora a precisão por imagem seja moderada (ex: ~0,67 para "Consequências"), os VLMs conseguem recuperar tendências populacionais com alta fidelidade.
• A Divergência de Jensen-Shannon entre a distribuição prevista e a real foi baixa (≤ 0,10) para categorias como "Animais" e "Tipo", sugerindo que os VLMs são ferramentas viáveis para análise de tendências de discurso em larga escala, mesmo que não sejam perfeitos para anotação individual.

5. Significado e Implicações

O estudo demonstra que a análise de discurso visual em escala é tecnicamente viável hoje, mas requer uma mudança metodológica:

• Para Pesquisadores de Ciências Sociais: Os VLMs não devem ser vistos como substitutos diretos "plug-and-play" para anotação manual, mas como ferramentas poderosas para análise de tendências populacionais, desde que os erros sejam não sistemáticos.
• Estratégia de Validação: Recomenda-se uma estratégia de avaliação de dois níveis: métricas amostrais (precisão/F1) para confiabilidade por categoria e métricas distribucionais (divergência) para validar tendências agregadas.
• Custo-Efetividade: Modelos de peso aberto de tamanho moderado (como Qwen-8B) oferecem uma relação custo-benefício favorável para tarefas de anotação em larga escala em comparação com APIs fechadas.
• Limitações: O estudo focou apenas no X/Twitter e em um esquema de anotação específico. A generalização para outras plataformas (Instagram, TikTok) e dimensões (afeto, tom) ainda precisa ser explorada.

Em suma, o trabalho fornece diretrizes concretas para integrar a visão computacional moderna nos fluxos de trabalho de pesquisa social, permitindo a análise de milhões de imagens climáticas que antes permaneciam inexploradas.