Cross-Modal Rationale Transfer for Explainable Humanitarian Classification on Social Media

1. Problema e Motivação

Durante crises humanitárias (desastres naturais, conflitos), as redes sociais geram uma grande quantidade de dados multimodais (texto e imagens) que são cruciais para a conscientização da situação e esforços de socorro. Embora existam métodos para classificar esses dados em categorias humanitárias (ex.: danos à infraestrutura, pessoas afetadas, esforços de resgate), a maioria das abordagens atuais apresenta dois problemas principais:

1. Opacidade (Caixa Preta): Os modelos de aprendizado de máquina tomam decisões sem explicar o "porquê", o que limita sua adoção em aplicações críticas onde a transparência é exigida (ex.: pela ONU).
2. Foco Unimodal na Explicabilidade: As técnicas existentes de classificação explicável focam predominantemente na extração de racionais de texto (palavras-chave), ignorando a necessidade de explicar as decisões baseadas em imagens. Além disso, a anotação de racionais visuais (como bounding boxes ou patches de imagem) é cara e subjetiva, dificultando a criação de conjuntos de dados de treinamento.

O objetivo deste trabalho é desenvolver um framework de classificação multimodal explicável por design que extraia tanto racionais de texto quanto de imagem, utilizando transferência de aprendizado para mitigar a necessidade de anotação manual de imagens.

2. Metodologia (VLTCrisis)

Os autores propõem um framework chamado VLTCrisis (Vision and Language Transformer-based approach for Crisis-related tweet classification). A arquitetura opera em duas etapas principais, utilizando o modelo pré-treinado ViLT (Vision-and-Language Transformer) como base.

A. Extração de Racionais (Etapa 1)

Nesta fase, o modelo aprende a identificar quais partes do texto e da imagem são relevantes para a classificação.

1. Codificação Multimodal: O texto (tokens) e a imagem (patches) são processados pelo encoder ViLT para gerar representações conjuntas.
2. Extração de Racionais de Texto: Um extrator de texto (com uma camada GRU e uma camada totalmente conectada) é treinado para prever quais tokens do texto são racionais (rotulados como 1 ou 0). Isso é feito como uma tarefa de classificação binária em nível de token.
   • Aprendizado Multi-tarefa: Para melhorar a qualidade dos racionais, o modelo é treinado simultaneamente para prever a classe humanitária da tweet (tarefa auxiliar).
3. Transferência Cross-Modal para Imagens: Esta é a inovação central. Em vez de anotar manualmente os patches de imagem, o modelo mapeia os racionais de texto para a imagem.
   • Utiliza-se o método IPOT (Inexact Proximal Point Method) para calcular um alinhamento suave entre os embeddings dos tokens de texto identificados como racionais e os patches da imagem.
   • Isso gera um mapa de calor (heatmap) de racionais para a imagem, indicando quais áreas visuais sustentam a decisão do modelo, sem necessidade de anotação humana direta nas imagens.

B. Classificação da Tweet (Etapa 2)

Para garantir que o modelo seja "explicável por design", a classificação final não é baseada em todos os dados de entrada, mas apenas nos racionais extraídos.

1. Mascaramento: Palavras não consideradas racionais no texto são substituídas por um token especial (*). Patches de imagem não considerados racionais são borrados (ou mascarados) com base no heatmap gerado.
2. Predição: O modelo ViLT reprocessa apenas os dados mascarados (apenas os racionais) para prever a classe humanitária. Se o modelo mantiver alta precisão usando apenas os racionais, isso prova que a explicação é fiel à decisão.

3. Principais Contribuições

• Framework Explicável por Design: Um modelo que integra a extração de explicações (racionais) diretamente no processo de treinamento, em vez de usar métodos post-hoc (pós-treinamento).
• Transferência de Racionalidade Cross-Modal: Uma abordagem inovadora para gerar racionais de imagem a partir de racionais de texto anotados, reduzindo drasticamente o custo de anotação de dados visuais.
• Alinhamento Multimodal: Demonstra que o aprendizado conjunto de texto e imagem melhora a representação dos conceitos, superando modelos unimodais.
• Validação de Fidelidade: O modelo é projetado para depender exclusivamente dos racionais para a classificação, garantindo que as explicações sejam a causa real da predição.

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados CrisisMMD (um benchmark multimodal de desastres).

• Desempenho de Classificação:
  • O VLTCrisis superou significativamente os modelos unimodais (texto ou imagem isolados) e outros modelos multimodais de base.
  • Houve um aumento de 2% a 35% no escore Macro-F1 em comparação com métodos existentes.
  • O modelo alcançou 80% de precisão em modo zero-shot (adaptando-se a novos conjuntos de dados não vistos), demonstrando alta generalização.
• Qualidade dos Racionais (Plausibilidade):
  • Texto: O modelo alcançou um Token-F1 de 0.826, superando modelos de base como GPT-4 e RACLC na extração de palavras-chave corretas.
  • Imagem: A avaliação humana mostrou que os patches de imagem extraídos pelo VLTCrisis foram 12% mais úteis para identificar as classes humanitárias do que os mapas de calor gerados por métodos post-hoc (como RNET).
• Fidelidade do Modelo:
  • Compreensividade: Quando os racionais foram removidos (usando apenas o não-razoável), o desempenho do modelo caiu 51%, indicando que os racionais capturam a informação essencial.
  • Suficiência: Quando o modelo foi treinado e testado apenas com os racionais, o desempenho caiu apenas 7,2% em relação ao uso de dados completos, provando que os racionais são suficientes para a tomada de decisão.

5. Significância e Impacto

Este trabalho é significativo para a área de Informática em Crises e IA Explicável (XAI) por várias razões:

1. Transparência Operacional: Permite que organizações humanitárias confiem nas classificações automatizadas, pois podem ver exatamente o que no texto e na imagem levou à decisão (ex.: ver a ponte quebrada na imagem e a palavra "colapso" no texto).
2. Redução de Custo de Anotação: Ao demonstrar que é possível aprender racionais visuais a partir de anotações textuais, o trabalho remove uma barreira significativa para a criação de conjuntos de dados explicáveis em larga escala.
3. Aplicabilidade em Cenários Reais: A capacidade de funcionar bem em zero-shot e lidar com dados não vistos torna a ferramenta robusta para novos desastres onde dados rotulados são escassos.
4. Equilíbrio entre Desempenho e Explicabilidade: O estudo prova que não é necessário sacrificar a precisão da classificação para obter explicações; na verdade, forçar o modelo a focar em racionais pode melhorar a robustez e a generalização.

Em resumo, o VLTCrisis estabelece um novo padrão para a análise de mídias sociais em crises, oferecendo não apenas uma classificação precisa, mas também uma justificativa visual e textual verificável para cada decisão tomada.