Learning from Reliable Latent Prompts for Visual Recognition with Missing Modalities

Resumo Técnico: Aprendendo com Prompts Latentes Confiáveis para Reconhecimento Visual com Modalidades Ausentes

Definição do Problema
Modelos Multimodais de Grande Escala (LMMs) alcançaram um desempenho superior ao sinergizar informações através de diversas e massivas escalas de modalidades pareadas. No entanto, em implantações no mundo real, os inputs são frequentemente incompletos devido a restrições de privacidade, falhas de sensores ou limitações na coleta de dados. Modelos existentes, otimizados para dados com modalidades completas, sofrem uma degradação abrupta de desempenho quando confrontados com modalidades ausentes. Embora abordagens recentes de aprendizado de prompts tentem mitigar isso gerando prompts dinâmicos condicionados a características de nível de instância, essas estratégias são fundamentalmente falhas sob altas taxas de ausência. À medida que a proporção de modalidades incompletas aumenta, as características de nível de instância usadas para condicionar os prompts tornam-se não confiáveis, enviesadas e instáveis. Isso leva a prompts dinâmicos que colapsam em observações unimodais, interrompendo o alinhamento cross-modal e falhando em manter estruturas consistentes de nível de classe.

Metodologia: Aprendendo com Prompts Latentes Confiáveis (LLP)
Para abordar a falta de confiabilidade das estratégias condicionadas ao input, os autores propõem o Aprendizado com Prompts Latentes Confiáveis (LLP), um paradigma que desacopla o aprendizado de prompts dos inputs corrompidos. Em vez de depender de características de nível de instância, o LLP modela prompts aprendíveis agnósticos ao input como âncoras latentes estáveis que encapsulam priors intrínsecos da modalidade.

O framework, construído sobre um backbone CLIP congelado, opera através de três mecanismos principais:

1. Âncoras Latentes Específicas de Modalidade: O LLP introduz tokens de prompt aprendíveis ($P_{I,S}$ para imagens e $P_{T,S}$ para texto) que são agnósticos ao input. Essas âncoras são derivadas de prompts estáticos via uma função de transformação (FC + GELU + LN) e servem como fundações estáveis que codificam priors de nível de modalidade, independentemente do sample de input específico ou de sua ausência.
2. Prompts de Dupla Âncora Induzida (DAIP): Para permitir uma interação cross-modal robusta sem depender de inputs incompletos, o framework emprega um mecanismo de atenção cruzada de via dupla. A âncora de texto consulta a âncora de imagem (e vice-versa) para trocar informações complementares. Essa interação gera prompts induzidos por dupla âncora refinados ($P_{I,D}$ e $P_{T,D}$) através de um MLP leve e normalização. Esse processo permite que o modelo aproxime informações semânticas ausentes a partir de um espaço latente estável.
3. Geração de Prompt por Camada: Os prompts finais para cada modalidade são construídos concatenando as âncoras latentes e os prompts induzidos. Estes são injetados em cada camada do encoder, permitindo o refinamento progressivo e o aprendizado de representação hierárquica através da profundidade da rede.

Durante o treinamento, apenas os parâmetros de prompt e uma camada totalmente conectada específica da tarefa são otimizados, enquanto o backbone permanece congelado.

Principais Contribuições

• Um Novo Paradigma: O artigo propõe o LLP, um framework de prompting impulsionado por priors latentes que desacopla o aprendizado de prompts de inputs não confiáveis, capturando priors estáveis de nível de modalidade para melhorar a robustez sob observações incompletas.
• Design Agnóstico ao Input: A introdução de âncoras latentes específicas de modalidade e um mecanismo de atenção cruzada de via dupla permite o aprendizado de prompts independente do input e uma interação cross-modal estável, facilitando a compensação semântica mesmo sob taxas extremas de ausência (ex: 90%).
• Desempenho de Estado da Arte: A abordagem demonstra desempenho superior em múltiplos benchmarks e cenários de modalidade ausente, validando a eficácia de aprender com prompts latentes confiáveis sobre métodos condicionados ao input.

Resultados Experimentais
Os autores avaliaram o LLP em três datasets de benchmark: MM-IMDb (predição de gênero de filmes), UPMC Food-101 (classificação de alimentos) e Hateful Memes (detecção de discurso de ódio). Experimentos foram conduzidos sob variadas taxas de ausência ($\eta = 50\%, 70\%, 90\%$) e cenários de ausência (texto ausente, imagem ausente, ambos ausentes).

• Desempenho: O LLP superou consistentemente seis baselines de estado da arte (incluindo CoOp, MMP, MaPLe, DePT, DCP, SyP) em todos os datasets e configurações de ausência.
• Altas Taxas de Ausência: Os ganhos de desempenho foram mais pronunciados sob altas taxas de ausência (ex: $\eta = 90\%$). Por exemplo, no dataset Hateful Memes, o LLP alcançou um AUROC de 70,90% com 90% de texto ausente, superando significativamente o próximo melhor método (SyP com 69,70%).
• Estudos de Ablação: Experimentos confirmaram que as âncoras latentes específicas de modalidade sozinhas proporcionaram ganhos substanciais sobre os baselines, e a adição dos prompts de dupla âncora induzida rendeu novos e significativos melhorias.
• Generalização: Modelos treinados sob cenários de "ambos ausentes" demonstraram forte generalização para cenários de ausência específicos (apenas texto ou apenas imagem), indicando adaptação flexível a diversos padrões de ausência.
• Visualização: Visualizações de características mostraram que o LLP produz distribuições intra-classe mais compactas e uma separação inter-classe mais clara comparado aos métodos condicionados ao input, que frequentemente resultam em clusters fragmentados e específicos de cada modalidade.

Significância e Alegações
O artigo afirma que o LLP oferece uma solução simples, porém eficaz, para o problema de modalidade ausente, um gargalo crítico para a utilidade prática dos LMMs. Ao mudar o foco de características de nível de instância não confiáveis para priors latentes estáveis e agnósticos ao input, o método fornece um mecanismo robusto para compensação de conhecimento cross-modal. Os autores enfatizam que este paradigma é particularmente valioso para aplicações do mundo real onde a integridade dos dados não pode ser garantida. Além disso, a abordagem mantém alta eficiência de parâmetros ao otimizar apenas um pequeno conjunto de parâmetros aprendíveis, tornando-a prática para implantação. O trabalho estabelece uma direção promissora para o aprendizado multimodal robusto, demonstrando que o raciocínio semântico confiável pode ser alcançado mesmo quando até 90% das modalidades estão ausentes.