AOEPT: Breaking the Implicit Modality-Reduction Bottleneck in Modality-Missing Prompt Tuning

Resumo Técnico: AOEPT

Declaração do Problema
A implantação de sistemas multimodais em ambientes do mundo real frequentemente exige o tratamento de cenários onde uma ou mais modalidades estão ausentes (por exemplo, falhas de sensores, erros de transmissão). Embora abordagens recentes enfrentem esse desafio para Transformadores Multimodais (MTs) usando ajuste de prompts, os autores identificam uma limitação fundamental denominada Gargalo de Redução Implícita de Modalidade (IMR). Métodos existentes de ajuste de prompts condicionam os prompts exclusivamente às modalidades observadas (ou utilizam inicialização aleatória). Consequentemente, esses métodos restringem inadvertidamente o escopo de raciocínio do MT ao subespaço das modalidades remanescentes. Isso efetivamente degrada um problema multimodal em um unimodal, cortando o acesso do modelo às fontes de informação latente das modalidades ausentes que foram aprendidas durante o pré-treinamento.

Metodologia: AOEPT
Para superar o gargalo IMR, os autores propõem o AOEPT (Prompting Adaptativo de Contexto de Modalidade para Ausência Adaptativa), um framework que muda o paradigma da adaptação passiva a entradas degradadas para a compensação ativa de informações ausentes. O método opera através de três etapas principais:

1. Construção de Prompt Contextualizado por Modalidade (MCP):
   Em vez de inicialização aleatória, o AOEPT destila priores globais, por modalidade, a partir dos dados de treinamento. Ele encaminha amostras de treinamento com modalidades disponíveis através de camadas congeladas do MT para coletar representações de tokens por camada. Essas representações são agrupadas via clustering K-means para formar protótipos semânticos, criando um repositório de informações leve e específico por modalidade (por exemplo, Prompts Contextualizados por Texto ou TCPs). Esses MCPs servem como repositórios latentes contendo a distribuição contextual global de cada modalidade.

2. Instanciação de Prompt Consciente da Instância:
   Ao processar uma amostra incompleta (por exemplo, uma amostra apenas de imagem), o AOEPT busca adaptativamente os MCPs correspondentes. Esses prompts globais são então instanciados em prompts conscientes da instância condicionados às modalidades observadas remanescentes. Isso é alcançado por meio de um mecanismo de portão (usando uma MLP e função sigmoide) que ativa seletivamente as informações específicas dentro dos MCPs mais relevantes para a amostra atual. Para garantir que os prompts instanciados permaneçam consistentes com o espaço de modalidade, aplica-se uma Regularização de Consistência Latente Intra-Modal (LCR), alinhando as representações do prompt com as representações latentes das modalidades disponíveis.

3. Ajuste de Prompt Adaptativo à Ausência:
   Os prompts instanciados são inseridos nas camadas do codificador do MT. Para as camadas iniciais, os prompts são recém-instanciados para cada camada; para as camadas subsequentes, eles são propagados. Apenas os MCPs e o cabeçalho de classificação são ajustados, mantendo o backbone congelado. Esse processo suplementa explicitamente a informação da modalidade ausente para cada amostra, restaurando o escopo de raciocínio do MT além do subespaço de apenas modalidade observada.

Principais Contribuições

• Identificação do Gargalo IMR: O artigo reexamina os paradigmas existentes de ajuste de prompts, demonstrando que eles confinam inadvertidamente o raciocínio do MT a subespaços reduzidos de modalidade, falhando assim em aproveitar as capacidades multimodais pré-treinadas.
• Framework AOEPT: Uma solução conceitualmente nova que restaura explicitamente o acesso a repositórios de informação de modalidades ausentes por meio de uma forma de prompting contextualizado por modalidade e leve. Ela expande o escopo de raciocínio dos MTs além das modalidades remanescentes sem exigir redes de reconstrução pesadas ou módulos de recuperação externos.
• Métrica Diagnóstica (NM2I): Os autores introduzem a Informação Mútua Normalizada de Modalidade Ausente (NM2I) para quantificar a severidade do gargalo IMR. Essa métrica mede a informação mútua entre os tokens do prompt e as representações latentes da modalidade ausente, fornecendo evidências empíricas de quão bem um método acessa informações ausentes.
• Escalonamento de Informação de Modalidade: O estudo revela um "Gargalo de Escalonamento de Informação de Modalidade" nos métodos existentes, onde o desempenho atinge um platô mesmo quando as condições de treinamento melhoram (ou seja, mais dados completos estão disponíveis). Em contraste, o AOEPT se beneficia de informações de treinamento adicionais para formar repositórios globais mais abrangentes.

Resultados Experimentais
Os experimentos foram conduzidos em três benchmarks duais (MM-IMDb, HateMemes, Food101) e um benchmark tri-modal (IEMOCAP) usando vários backbones (CLIP, ViLT, MulT).

• Desempenho: O AOEPT supera consistentemente bases fortes (incluindo MAPs, DCP, MemPrompt, SyP e RAGPT) em várias taxas de ausência (70% e 90%) e cenários de ausência (apenas texto, apenas imagem ou ambas ausentes).
• Eficiência: O AOEPT alcança esses ganhos com sobrecarga computacional mínima e um pequeno número de parâmetros aprendíveis, evitando os altos custos associados a mecanismos de memória ou recuperação por instância encontrados em outros métodos.
• Ablação: A remoção de MCPs, instanciação ou regularização de consistência leva a quedas significativas de desempenho, confirmando a necessidade de cada componente.
• Análise NM2I: Métodos de base exibem NM2I próximo a zero, confirmando que não acessam informações de modalidade ausente. O AOEPT alcança NM2I significativamente maior, validando sua capacidade de superar o gargalo IMR.

Significado e Alegações
O artigo afirma que o AOEPT reenquadra a aprendizagem de ausência de modalidade para MTs, passando de uma adaptação passiva a estruturas de entrada degradadas para uma perspectiva ativa de acesso à informação. Ao internalizar um mecanismo de auto-recuperação que destila conhecimento contextual global em prompts leves, o AOEPT permite que os MTs acessem e aproveitem implicitamente informações de modalidades ausentes sem alterar a arquitetura do backbone ou introduzir módulos pesados de reconstrução. Os autores posicionam isso como uma solução principial e eficiente que mantém o paradigma padrão de ajuste de prompts leve, ao mesmo tempo em que supera as limitações inerentes das abordagens atuais. O trabalho é apoiado pela Fundação Nacional de Ciências Naturais da China.