t-gems: text-guided exit modules for decreasing clip image encoder

Resumo Técnico: T-GEMS – Módulos de Saída Guiados por Texto para Redução do Codificador de Imagem CLIP

Declaração do Problema
Modelos multimodais (MM) como o CLIP alinham entradas de imagem e texto em um espaço latente compartilhado usando aprendizado contrastivo. Embora eficazes, sua inferência é estática: cada entrada percorre toda a pilha de transformadores, independentemente da complexidade, levando a altos custos computacionais. Métodos de Saída Antecipada (EE), que permitem que os modelos interrompam o cálculo em camadas intermediárias quando confiantes, foram explorados em modelos unimodais e multimodais baseados em fusão. No entanto, o EE permanece pouco explorado em modelos de codificador duplo contrastivo como o CLIP. O principal desafio reside na separação dos codificadores de modalidade; abordagens dinâmicas existentes frequentemente dependem de processamento conjunto ou poda de tokens, falhando em utilizar informações do codificador de texto para guiar saídas no codificador visual. Além disso, desenvolver métodos EE estáticos para esses modelos requer uma maneira de estimar distribuições de conteúdo semântico em camadas intermediárias derivadas de descrições textuais sem depender exclusivamente de dados de imagem.

Metodologia
Os autores propõem Módulos de Saída Guiados por Texto (T-GEMs), um framework projetado para realizar saídas antecipadas estáticas no codificador de imagem de um modelo de codificador duplo usando informações do codificador de texto. O objetivo central é estimar a distribuição de probabilidade posterior das ativações de neurônios intermediários ($\ell_{ij}$) para uma classe específica $c$, dada uma imagem $x$ e uma descrição textual $d$.

1. Estimação de Distribuição: O método assume que as ativações intermediárias seguem uma distribuição Gaussiana. O objetivo é calcular a média ($\mu$) e a variância ($\sigma^2$) para cada classe e camada.
2. Duas Abordagens de Estimação:
   • Baseada em Amostragem: Uma abordagem ingênua usando um conjunto de calibração $S$ para calcular empiricamente $\mu$ e $\sigma^2$ para cada classe. Isso evita o treinamento de novos parâmetros, mas falha em estabelecer uma conexão entre os mapas de ativação de texto e imagem.
   • Baseada em Aprendizado (T-GEMs): Uma rede aprendível $\Psi_i$ (o T-GEM) estima os parâmetros da distribuição diretamente a partir de embeddings de texto ($d_t$), contornando a necessidade de imagens de amostra durante a inferência. Este módulo é otimizado para minimizar a "taxa" (surpresa) do sinal de ativação.
3. O Módulo Jumper: Para melhorar a discriminação, um módulo de projeção $J^i$ (Jumper) mapeia ativações intermediárias de imagem para um espaço de dimensão inferior $\tilde{\ell}^i$. Isso facilita uma melhor estimativa de taxa e permite a integração de similaridade cross-modal.
4. Métrica de Classificação (Class-Rate): Em vez da similaridade de cosseno padrão, o método introduz uma métrica de class-rate ($R^i_c$). Esta métrica calcula a "surpresa" de uma ativação dada uma suposição de classe. A classe prevista é aquela que minimiza essa taxa (Eq. 3), selecionando efetivamente a classe que comprime o sinal com maior eficiência.
5. Objetivo de Treinamento: Os módulos são treinados usando uma função de perda combinada $L = L_r + L_s$:
   • $L_r$: Um regularizador baseado em taxa que minimiza o log-verossimilhança negativo da distribuição Gaussiana, aprimorando a capacidade de discriminar conteúdo semântico.
   • $L_s$: Uma perda de similaridade cross-modal (Similaridade de Cosseno) entre o embedding de texto e a representação de imagem projetada.

Principais Contribuições
O artigo afirma quatro contribuições primárias:

1. Análise de Representações Intermediárias: Uma investigação sobre como as representações intermediárias no CLIP variam entre classes em relação aos embeddings de texto, revelando que essas camadas contêm informações discriminativas adequadas para saídas antecipadas.
2. Regularizador Class-Rate: A introdução de uma estatística derivada de mapas de ativação que correlaciona com similaridade de cosseno, mas serve como um regularizador treinável para melhorar a discriminação.
3. Módulos de Saída Guiados por Texto (T-GEMs): O design de um módulo que prevê ativações intermediárias do codificador de imagem exclusivamente a partir de embeddings de texto, demonstrando uma relação limitada entre modalidades.
4. Framework de Saída Antecipada Estática: O treinamento de módulos EE estáticos que aproveitam mapas de ativação intermediários para tarefas como classificação de imagem, representando o primeiro estudo a explorar a exploração de camadas intermediárias de ambos os codificadores de texto e visual em modelos de codificador duplo contrastivo para EE estático.

Resultados Experimentais
Experimentos foram conduzidos no CIFAR-10 usando arquiteturas CLIP ViT-B-32 e ViT-L-14.

• Desempenho vs. CLIP Completo: A abordagem T-GEMs + Jumper alcançou acurácia competitiva em comparação com o modelo CLIP completo. Por exemplo, com ViT-B-32, o método atingiu 92% de acurácia na camada final (RB12), comparável à linha de base zero-shot de 91,3%.
• Impacto da Regularização: Incorporar o regularizador baseado em taxa ($L_r$) melhorou significativamente o desempenho, particularmente em camadas anteriores (RB3–RB5), gerando ganhos de até 6% sobre métodos que usam apenas similaridade de cosseno.
• Eficiência de Parâmetros: Os parâmetros adicionais introduzidos por T-GEMs e Jumper são negligenciáveis (centenas de milhares), representando aproximadamente 4% de um único bloco residual. Isso permite compressão significativa do modelo; por exemplo, sair na 5ª camada reduz o tamanho do codificador em aproximadamente 52 milhões de parâmetros, mantendo alta acurácia.
• Class-Rate vs. Cosseno: A métrica class-rate provou ser um proxy confiável para similaridade de cosseno, frequentemente superando-a quando usada como métrica de inferência, especialmente quando combinada com o regularizador de taxa.
• Sensibilidade à Amostra: A abordagem baseada em amostragem exigiu um número razoável de amostras (por exemplo, $S \ge 100$) para ser eficaz, enquanto a abordagem baseada em aprendizado estabilizou com uma dimensão de projeção $K=128$, indicando que modelos grandes não são estritamente necessários para os T-GEMs.

Significado e Afirmações
O artigo posiciona este trabalho como um passo fundamental em direção à inferência multimodal eficiente. Afirma ser o primeiro estudo a explorar saídas antecipadas estáticas em modelos de codificador duplo contrastivo, aproveitando a relação entre camadas intermediárias de texto e visual. Os autores enfatizam que seu método reduz o tamanho do codificador de imagem sem comprometer o desempenho de similaridade imagem-texto.

O significado reside em demonstrar que:

1. Ativações intermediárias em camadas iniciais do codificador são suficientemente discriminativas para tarefas de classificação.
2. A regularização baseada em taxa pode extrair representações mais discriminativas do que métricas de similaridade padrão isoladamente.
3. Embeddings de texto podem guiar efetivamente a estimativa de distribuições de ativação de imagem, permitindo uma estratégia de saída antecipada estática que não requer tomada de decisão dinâmica, por amostra, durante a inferência.

Os autores permanecem modestos quanto ao escopo, observando que, embora não implementem atualmente uma estratégia de saída dinâmica (onde cada amostra sai em uma camada diferente), seu framework estático fornece uma base promissora para futuras implementações dinâmicas e treinamento de codificadores multimodais leves.