💻 computer science

Conservative Proxy Prompting for Reliable Frozen Vision–Language Models with Missing Modalities

Este artigo propõe o Conservative Proxy Prompting (CPP), um framework de eficiência de parâmetros que aumenta a confiabilidade de modelos de visão-linguagem congelados sob ausência de modalidades ao construir representações de proxy no espaço de características e regular conservadoramente sua contribuição para evitar sinais enganosos.

Autores originais: Xiaoyong Mei, Wei Ji, Jiale Dong, Chao Duan, Mingyan Zhang, Fudan Zheng

Publicado 2026-09-02

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xiaoyong Mei, Wei Ji, Jiale Dong, Chao Duan, Mingyan Zhang, Fudan Zheng

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, existe uma classe crescente de sistemas conhecidos como modelos de visão-linguagem. Estes são mentes digitais treinadas para compreender o mundo ao olhar para imagens e ler texto simultaneamente, aprendendo como imagens e palavras se relacionam entre si. Eles tornaram-se notavelmente habilidosos em tarefas como descrever uma foto ou responder perguntas sobre uma cena, em grande parte porque são treinados em coleções massivas de imagens e textos pareados. No entanto, estes sistemas são construídos sobre uma premissa frágil: a de que sempre receberão tanto a imagem quanto a descrição ao mesmo tempo. Na realidade caótica do mundo real, isso raramente é garantido. Sensores falham, dados perdem-se na transmissão e filtros de privacidade podem remover uma descrição, deixando o sistema apenas com metade da informação que ele espera. Quando um modelo treinado em pares completos é subitamente forçado a adivinhar com apenas uma peça do quebra-cabeça, sua confiança muitas vezes desmorona, e suas respostas tornam-se não confiáveis. O desafio para os pesquisadores não é apenas ajudar o modelo a adivinhar o que está faltando, mas ensiná-lo a saber a diferença entre o que ele realmente vê e o que ele está meramente inferindo.

Uma equipe de pesquisadores da Universidade Normal de Zhejiang e da Universidade Sun Yat-Sen desenvolveu um novo método para resolver este problema, chamado de Prompting de Proxy Conservador (Conservative Proxy Prompting). A abordagem deles reconhece uma verdade fundamental sobre a inteligência artificial: quando um modelo tem que adivinhar uma peça de informação faltante baseando-se no que pode ver, esse palpite é inerentemente incerto. Imagine uma pessoa tentando identificar um prato em um restaurante. Se ela puder ver a comida e ler o cardápio, ela está certa. Se o cardápio estiver faltando, ela pode olhar para a comida e adivinhar o nome, mas deve permanecer ligeiramente incerta de sua resposta. Métodos existentes frequentemente tentam reconstruir a informação faltante como se ela fosse real, tratando efetivamente um palpite com o mesmo peso de uma observação direta. Os pesquisadores argumentam que isso é perigoso porque o dado reconstruído é apenas uma estimativa, e tratar isso como fato pode enganar o sistema. Em vez disso, o novo framework deles trata esses palpites como evidências "proxy" — úteis, mas que exigem uma mão cautelosa.

O núcleo de sua solução envolve uma estratégia de dois passos que trabalha com os modelos de IA poderosos já existentes sem a necessidade de treiná-los do zero. Primeiro, o sistema utiliza uma técnica chamada aprendizagem de prompt (prompt learning) para suavemente direcionar a compreensão do modelo para a tarefa específica em questão, como identificar gêneros de filmes ou tipos de alimentos, usando apenas um número minúsculo de configurações ajustáveis. Isso permite que o modelo permaneça afiado e pronto para o trabalho específico sem precisar reformular todo o seu cérebro. Segundo, e mais importante, o sistema introduz um mecanismo para lidar com dados ausentes. Quando uma imagem está faltando, o sistema usa o texto para criar um esboço aproximado de como a imagem poderia ser. Quando o texto está faltando, o sistema usa a imagem para adivinhar as palavras. Mas aqui reside a diferença crucial: antes que essa informação adivinhada seja misturada com os dados reais, o sistema deliberadamente reduz sua influência. Ele aplica um filtro "conservador", reduzindo o peso do palpite para que ele apoie a decisão sem sobrepujar a evidência direta. Isso garante que, se o palpite estiver errado, ele não arraste a resposta final junto com ele.

Para testar essa ideia, os pesquisadores submeteram seu método a testes rigorosos em três conjuntos de dados muito diferentes do mundo real. Eles utilizaram uma coleção de pôsteres de filmes e resumos de enredo, um conjunto massivo de imagens de alimentos com receitas e um conjunto desafiador de memes da internet projetado para testar se um sistema consegue detectar discurso de ódio. Em cada caso, eles simularam falhas do mundo real removendo aleatoriamente a imagem ou o texto dos dados, às vezes removendo informações de até noventa por cento das amostras. Os resultados foram claros: o novo método superou consistentemente outras abordagens que tentavam simplesmente reconstruir os dados ausentes. Ao manter a influência dos palpites sob controle, o sistema manteou uma alta precisão mesmo quando lhe faltava a maior parte de sua informação. Provou-se que um modelo não precisa ser perfeito em adivinhar para ser confiável; ele só precisa saber o quanto confiar em seus próprios palpites.

O estudo também revelou que essa confiabilidade vem sem um custo pesado. O novo método exigiu apenas um número muito pequeno de parâmetros ajustáveis — aproximadamente entre 1,6 e 2,7 milhões — para alcançar esses resultados. Em comparação, outros métodos que tentavam alcançar uma robustez semelhante frequentemente exigiam quase três vezes mais configurações ajustáveis. Essa eficiência é significativa porque significa que o sistema pode ser adaptado a novas tarefas rapidamente e armazenado facilmente, sem a necessidade de um poder computacional massivo. Os pesquisadores descobriram que o número específico de configurações de "direcionamento" importava, mas não havia um único número mágico que funcionasse para todas as situações; uma quantidade moderada de ajuste era, geralmente, o ponto ideal. Além disso, o sistema mostrou que podia lidar com situações que nunca havia visto antes. Mesmo tendo sido treinado apenas com dados completos e sendo testado com dados ausentes, ele se adaptou bem, sugerindo que o princípio de ser cauteloso com os palpites é uma estratégia robusta que se generaliza além dos exemplos específicos de treinamento.

Em última análise, este trabalho desloca o foco de tentar recriar perfeitamente a informação faltante para gerenciar a incerteza dessa recreação. Os pesquisadores demonstraram que, em um mundo onde os dados são frequentemente incompletos, os sistemas de IA mais confiáveis não são necessariamente aqueles que tentam preencher cada lacuna, mas aqueles que compreendem os limites de seu próprio conhecimento. Ao tratar a informação inferida como uma voz útil, porém secundária, em vez de uma parceira igual à observação direta, o sistema torna-se mais estável e confiável. Esta abordagem oferece um caminho prático para o implante de sistemas inteligentes no mundo real, onde sensores quebram e dados se perdem, garantindo que essas ferramentas permaneçam úteis mesmo quando não estão vendo o quadro completo.

Resumo Técnico: Prompt de Proxy Conservador para Modelos de Visão-Linguagem Congelados Confiáveis com Modalidades Ausentes

1. Definição do Problema

Modelos de visão-linguagem (VLMs) congelados, como o CLIP e o SigLIP, demonstraram uma forte transferibilidade ao aprender representações alinhadas de imagem-texto a partir de pré-treinamento em larga escala. No entanto, sua confiabilidade degrada significativamente em cenários práticos onde uma modalidade (imagem ou texto) torna-se indisponível devido a restrições de privacidade, falhas de sensores ou interrupções de transmissão.

As abordagens existentes para modalidades ausentes geralmente se dividem em duas categorias:

Completude de Modalidade: Estes métodos tentam reconstruir entradas ou representações latentes ausentes (por exemplo, via difusão ou aprendizado mascarado). Embora forneçam informações complementares, os recursos reconstruídos são estimativas que podem conter sinais incertos ou inconsistências semânticas, potencialmente introduzindo evidências enganosas no processo de raciocínio.
Adaptação Consciente de Modalidade: Estes métodos incorporam a disponibilidade da modalidade em arquiteturas ou estratégias de aprendizado de prompt. No entanto, a maioria das abordagens baseadas em prompts existentes assume observações completas ou falha em distinguir explicitamente entre a confiabilidade da evidência observada diretamente e as representações de proxy inferidas.

O desafio central abordado por este trabalho é como adaptar VLMs congelados a observações incompletas sem tratar recursos de proxy inferidos e incertos como equivalentes a evidências genuínas e observadas, evitando assim a propagação de informações não confiáveis durante a fusão multimodal.

2. Metodologia: Prompt de Proxy Conservador (CPP)

Os autores propõem o Conservative Proxy Prompting (CPP), um framework de eficiência de parâmetros projetado para adaptar VLMs congelados sob observações incompletas. O CPP separa a adaptação da tarefa da confiabilidade do proxy através de três estágios sequenciais:

2.1 Prefixo de Tarefa Leve (LTP)

O LTP introduz orientação semântica relacionada à tarefa na entrada textual antes da adaptação do prompt. Ele aplica uma transformação leve à descrição de entrada e a processa através do tokenizador original do CLIP. Crucialmente, o LTP modifica a representação da entrada textual sem introduzir parâmetros treináveis adicionais ou atualizar o codificador de texto congelado, preservando o conhecimento pré-treinado enquanto fornece contexto de nível de dataset.

2.2 Adaptação de Prompt Suave de Fluxo Duplo (D-SPA)

O D-SPA adapta tanto os ramos visual quanto o textual do backbone CLIP congelado usando prompts suaves aprendíveis específicos de cada modalidade:

Ramo Textual: Tokens de prompt aprendíveis são adicionados via adição residual à sequência de embeddings de tokens.
Ramo Visual: Tokens de prompt visual aprendíveis são inseridos na sequência de entrada do codificador de imagem junto com o token de classe e os embeddings de patch.
Este estágio otimiza um pequeno número de parâmetros para alinhar o espaço de representação congelado com as tarefas subsequentes, mantendo o mecanismo original de codificação do CLIP.

2.3 Controle de Confiabilidade Leve Consciente de Ausência (LMRC)

Esta é a inovação central para lidar com modalidades ausentes. Quando uma modalidade $r$ está indisponível, o LMRC constrói um proxy de espaço de características $\hat{z}_i^r$ a partir da modalidade observada usando um projetor afim direcional (ex: $W_{I \to T}z_i^I + b_{I \to T}$ ).

Ao contrário dos métodos baseados em completude que otimizam para recuperação explícita, o LMRC trata o proxy gerado como evidência auxiliar incerta. Para regular sua contribuição, uma operação de atenuação conservadora é aplicada antes da fusão multimodal:
$z_i^r = (1 - \delta_i^r)z_i^r + \alpha \delta_i^r \hat{z}_i^r$
Onde:

$\delta_i^r$ é um indicador de se a modalidade $r$ está ausente.
$\alpha$ é um coeficiente conservador fixo (definido como 0.1 nos experimentos) que reduz a contribuição do proxy inferido.
Os recursos da modalidade observada são preservados sem alterações.

Adicionalmente, um embedding de tipo de ausência ( $E_m[m_i]$ ) é concatenado com os recursos fundidos para informar explicitamente o cabeçalho de predição sobre o estado de disponibilidade da modalidade, permitindo que o modelo distinga entre observações diretas e representações assistidas por proxy.

2.4 Otimização

O framework utiliza um MLP de duas camadas leve como o cabeçalho de predição. A otimização baseia-se exclusivamente nos objetivos padrão de entropia cruzada (rótulo único) ou entropia cruzada binária balanceada (múltiplos rótulos). Não são utilizadas perdas de reconstrução auxiliares, objetivos adversariais ou supervisão de proxy. Apenas os parâmetros leves (prompts, projetores, embeddings e o cabeçalho) são atualizados; o backbone do CLIP permanece congelado.

3. Principais Contribuições

O artigo delineia três contribuições primárias:

Proposta de Framework: A introdução do CPP, um framework de eficiência de parâmetros que permite a adaptação confiável de VLMs congelados sob diversas condições de observação incompleta.
Estratégia Consciente de Confiabilidade: Uma estratégia inovadora que constrói proxies leves de espaço de características e controla conservadoramente sua contribuição via atenuação antes da fusão. Isso reduz explicitamente a influência de informações inferidas incertas, distinguindo-as da evidência observada.
Validação Empírica: Experimentos extensos demonstrando desempenho robusto em configurações de texto-ausente, imagem-ausente e ausência mista com um número mínimo de parâmetros treináveis.

4. Resultados Experimentais

Os autores avaliaram o CPP em três benchmarks: MM-IMDb (gênero de filme multi-rótulo), Food-101 (reconhecimento de alimentos de grão fino) e Hateful Memes (classificação binária).

Desempenho: O CPP alcançou os melhores resultados em 25 de 27 combinações de dataset–taxa de ausência–modalidade em comparação com baselines fortes (MMP, MaPLe, DePT, DCP, SyP). Demonstrou melhorias consistentes, particularmente sob altas taxas de ausência (70% e 90%).
Eficiência de Parâmetros: O CPP requer apenas 1.6–2.7M de parâmetros treináveis, significativamente menos que os ~5.8M de parâmetros do baseline mais próximo (SyP), mas alcançou um desempenho médio superior na maioria das configurações.
Estudos de Ablação: A remoção da atenuação conservadora (CA) levou à degradação do desempenho, confirmando que recursos de proxy não controlados introduzem ruído. A remoção da adaptação de prompt (PL) ou do prefixo de tarefa (LTP) também resultou em quedas, validando a necessidade tanto da adaptação de representação quanto da orientação semântica.
Generalização: Quando treinado em pares completos e testado em cenários de modalidade ausente (sem aumento de estado de ausência durante o treinamento), o CPP manteve um desempenho estável, demonstrando forte generalização para padrões de ausência não vistos.
Visualização: Visualizações UMAP mostraram que o CPP aprende distribuições de características multimodais estruturadas mesmo sob condições de ausência. A análise de recuperação cross-modal indicou que o modelo preserva o alinhamento semântico significativo enquanto reflete a incerteza das informações transferidas.

5. Significância e Alegações

O artigo alega que a significância do CPP reside em sua capacidade de abordar a lacuna de confiabilidade no aprendizado de modalidades ausentes. Ao separar explicitamente a geração de informação de proxy de sua utilização, o CPP evita o erro de tratar estimativas reconstruídas como verdade fundamental (ground truth).

Os autores enfatizam que sua abordagem não depende de mecanismos de reconstrução complexos ou atualizações de parâmetros em larga escala. Em vez disso, aproveita um mecanismo de atenuação conservadora para explorar com segurança informações complementares das modalidades disponíveis, mitigando o risco de propagação de recursos não confiáveis. O framework oferece uma solução prática para implantar VLMs congelados em ambientes do mundo real onde a completude dos dados não pode ser garantida, alcançando robustez com alta eficiência de parâmetros.

O artigo conclui modestamente, observando que trabalhos futuros poderiam explorar a estimativa de confiabilidade adaptativa (ajustando dinamicamente o $\alpha$ ) e estender o framework para modelos de fundação maiores, mas afirma que o coeficiente conservador fixo atual fornece uma aproximação robusta e eficaz para diversos cenários.