Resumo Técnico: SAVER – Evidência Visual Seletiva Sob Demanda para Extração de Informação Multimodal

1. Declaração do Problema

A Extração de Informação (EI) multimodal em mídias sociais enfrenta um desafio único: as publicações frequentemente contêm múltiplas imagens que são fracamente relacionadas, redundantes ou até mesmo enganosas em relação ao texto que as acompanha. Abordagens tradicionais tipicamente empregam fusão multimodal "sempre ativa", concatenando ou fundindo ativamente todos os recursos visuais disponíveis com o texto. Essa estratégia é ineficiente e contraproducente neste contexto porque:

• Desperdício Computacional: Processar todas as imagens, independentemente da relevância, aumenta a latência e os FLOPs.
• Amplificação de Ruído: A fusão sempre ativa pode amplificar correlações cruzadas espúrias quando as imagens são irrelevantes.
• Falta de Rótulos de Fundamentabilidade: Os dados de treinamento anotam entidades e relações, mas raramente indicam se uma unidade específica de texto (por exemplo, um intervalo de entidade ou um par de relações) é fundamentada visualmente, tornando difícil aprender quando consultar a visão.

O desafio central é determinar, para cada unidade de previsão, se a visão deve ser consultada de todo e, se sim, qual pequeno subconjunto de imagens fornece evidências confiáveis.

2. Metodologia: O Framework SAVER

O SAVER (Evidência Visual Seletiva Sob Demanda) aborda essas questões tratando a visão como evidência opcional, em vez de um canal de entrada obrigatório. O framework opera por meio de um pipeline modular composto por quatro etapas principais:

2.1 Configuração da Tarefa e Representações

O SAVER visa duas tarefas:

• Reconhecimento de Entidades Nomeadas Multimodal (MNER): Identificação de intervalos e tipos de entidades.
• Extração de Relações Multimodal (MRE): Classificação de relações entre pares de entidades marcadas.

O sistema utiliza um codificador de texto para gerar representações de tokens/intervalos e um codificador de visão para produzir vetores globais de imagem. Vetores de nível de região são extraídos apenas quando necessário.

2.2 Portão de Fundamentabilidade Conformal (CGG)

O CGG é o mecanismo central para decidir quando usar a visão.

• Pontuação: Para um intervalo candidato (em MNER) ou um par de entidades (em MRE), o portão calcula uma "pontuação de fundamentabilidade" ($g$) usando apenas vetores globais de imagem em cache. Ele não extrai vetores de região a menos que o portão seja ativado.
• Calibração: Para evitar rótulos explícitos de fundamentabilidade, o SAVER utiliza um procedimento de calibração no estilo conformal em uma divisão mantida de fora. Ele seleciona um limiar ($\tau$) tal que a taxa de erro do subconjunto ativado seja limitada por um risco alvo ($\alpha$) usando limites superiores de Clopper–Pearson.
• Decisão: Se a pontuação exceder $\tau$, o ramo visual é ativado; caso contrário, o modelo segue um caminho apenas de texto.

2.3 Construtor de Evidências (SIS ou RES)

Quando o portão é ativado, o SAVER deve selecionar um subconjunto compacto e diversificado de imagens do potencialmente grande conjunto de imagens anexadas.

• Seletor de Imagens Submodular (SIS): O seletor principal utiliza um objetivo submodular monótono para maximizar a relevância (similaridade à consulta) e a diversidade (cobertura de outras imagens relevantes). Ele emprega um algoritmo ganancioso com uma garantia de aproximação de $(1 - 1/e)$.
• Seletor de Evidências Reforçado (RES): Uma extensão opcional usando Aprendizado por Reforço (RL) para adquirir evidências sequencialmente com uma ação "PARAR", otimizada via recompensas conscientes de custo.
• Agregação: As imagens selecionadas (e seus top-k regiões) são agregadas usando um Transformador de Conjuntos para garantir invariância à permutação.

2.4 Cabeça de Pontuação Conjunta Inspirada em Energia

A etapa final combina texto, evidência visual opcional e regularização de consistência em uma função de pontuação unificada.

• Fusão: Representações de texto são fundidas com a evidência visual agregada ($z_{set}$) por meio de um mecanismo de portão.
• Consistência: Uma pontuação de consistência mede o alinhamento entre a representação de texto fundida e a evidência visual.
• Objetivo: O modelo minimiza uma função de energia que inclui perdas específicas da tarefa (validade do intervalo, tipo, relação), regularização de consistência e uma penalidade de esparsidade para ativar o ramo visual. Durante a inferência, portagem rígida é aplicada; durante o treinamento, portões suaves permitem otimização diferenciável.

3. Contribuições Principais

O artigo delineia três contribuições primárias:

1. Portagem Controlada por Risco: A introdução do CGG, que calibra limiares de ativação para garantir uma taxa de erro de subconjunto ativado limitada usando regras de seleção no estilo conformal, decidindo efetivamente quando a visão é necessária sem supervisão explícita.
2. Evidência Compacta de Múltiplas Imagens: O uso de um seletor submodular (SIS) para construir um conjunto de evidências pequeno e diversificado, reduzindo redundância e custo computacional enquanto preserva informações relevantes.
3. Pontuação Unificada com Consistência e Esparsidade: Uma cabeça de pontuação conjunta inspirada em energia que acopla as tarefas MNER e MRE com consistência texto-imagem e roteamento esparsos, melhorando a precisão e a seletividade enquanto mantém a eficiência.

4. Resultados Experimentais

Experimentos foram conduzidos em múltiplos benchmarks, incluindo MRE-MI (múltiplas imagens), MNRE (imagem única) e vários conjuntos de dados MNER (Twitter-2015/2017, MNER-MI/Plus).

• Desempenho: O SAVER supera consistentemente fortes baselines apenas de texto e modelos multimodais "sempre ativos" (por exemplo, HVPNeT, RSRNeT) em termos de pontuação F1. Os ganhos são mais pronunciados em configurações de múltiplas imagens onde a relevância das imagens varia significativamente.
• Eficiência: O SAVER reduz significativamente o custo computacional. No benchmark MRE-MI, reduziu os FLOPs de ~60G/amostra (RSRNeT) para 36G/amostra e a latência P90 de 90ms para 54ms.
• Seletividade e Calibração: O framework alcança alta cobertura de ativação (ActCov@0.10) enquanto mantém a taxa de erro do subconjunto ativado abaixo do nível de risco alvo ($\alpha=0.10$). Demonstra trade-offs superiores de risco-ativação-cobertura em comparação com baselines de portagem baseadas em confiança.
• Estudos de Ablação: Remover qualquer componente (CGG, SIS ou a cabeça de pontuação conjunta) degrada o desempenho, confirmando que cada módulo contribui independentemente para o sucesso do sistema.

5. Significado e Alegações

O artigo alega que o SAVER representa uma mudança de paradigma para a EI multimodal: movendo-se de "como fundir texto e imagens" para "quando usar visão e quais imagens confiar".

• Modularidade: O framework é projetado para ser modular, permitindo a integração de codificadores alternativos ou seletores de evidências.
• Interpretabilidade: Diferentemente de modelos de fusão de caixa preta, o SAVER fornece saídas explícitas sobre quais imagens foram selecionadas, os pesos de atenção do Transformador de Conjuntos e pontuações de consistência para unidades ativadas.
• Praticidade: Ao confiar em embeddings globais em cache para portagem e extrair recursos de região apenas para imagens selecionadas, o framework é computacionalmente viável para implantação no mundo real, onde latência e custo são restrições críticas.

Os autores concluem que o uso seletivo de visão é particularmente vital ao lidar com pares imagem-texto ruidosos, redundantes e levemente alinhados característicos das mídias sociais, oferecendo um caminho para extração multimodal mais eficiente e precisa.