Resumo Técnico: Processamento Visual Desacoplado (DVP)

Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs), como o LLaVA, alcançaram um sucesso significativo ao integrar a compreensão visual e textual dentro de uma arquitetura transformer unificada. O paradigma predominante envolve projetar características visuais no espaço de embedding do LLM e processar todos os tokens (tanto visuais quanto textuais) através de toda a pilha de camadas do decodificador. Embora eficaz, essa abordagem exige ou o ajuste fino completo de bilhões de parâmetros ou a aplicação de métodos de eficiência de parâmetros (ex: LoRA) em cada camada, ambos os quais são computacionalmente caros.

Uma questão crítica e subexplorada abordada por este trabalho é se os tokens visuais e textuais realmente requerem o mesmo caminho de representação profunda. Pesquisas anteriores sugerem que as camadas inferiores do transformer capturam características gerais e agnósticas à modalidade, enquanto as camadas superiores tornam-se progressivamente especializadas. Em MLLMs, hipotetiza-se que os tokens visuais possam se beneficiar de um caminho de processamento especializado nas camadas superiores, distinto do processamento orientado ao texto do LLM original, tornando assim o processamento de profundidade total dos tokens visuais desnecessário e ineficiente.

Metodologia: Processamento Visual Desacoplado (DVP)

Os autores propõem o Processamento Visual Desacoplado (DVP), um framework de treinamento eficiente que modifica a pilha do decodificador de um LLM pré-treinado para separar os caminhos de processamento visual e textual após uma fase inicial compartilhada.

Arquitetura

Dado um LLM pré-treinado com $L$ camadas de decodificador, o DVP implementa um paradigma split-process-concatenate (dividir-processar-concatenar):

1. Processamento Compartilhado (Camadas $0$a$K-1$): Todos os tokens (visuais e textuais) são processados conjuntamente através das primeiras $K$ camadas do decodificador. Esta fase facilita a atenção cross-modal, permitindo que o modelo estabeleça alinhamento e fundamentação contextual entre as modalidades.
2. Divisão de Modalidade: Após a camada $K$, os estados ocultos são divididos por modalidade em tokens visuais ($X_v$) e tokens textuais ($X_t$).
3. Processamento Desacoplado:
   • Caminho Visual: Os tokens visuais são roteados através de um único bloco transformer recém-inicializado. Este bloco é o único componente treinável durante a fase de ajuste fino.
   • Caminho Textual: Os tokens textuais continuam através das $L-K$ camadas restantes do decodificador, que permanecem congeladas (preservando a capacidade de modelagem de linguagem pré-treinada).
4. Concatenação e Predição: As representações visuais e textuais processadas são concatenadas e passadas para a cabeça de modelagem de linguagem para a predição do próximo token.

Justificativa de Design

• Ponto de Divisão ($K$): Em experimentos com o Vicuna-7B (32 camadas), a divisão ocorre após a camada 16 ($K=17$). Esta escolha é motivada pela observação de que a primeira metade das camadas do transformer captura características de nível inferior e cross-modais, enquanto a segunda metade se especializa em raciocínio específico de tarefas.
• Compressão Extrema: O caminho visual substitui 15 camadas do decodificador por um único bloco transformer. Isso força o modelo a aprender um mapeamento de transformação compacto, projetando as representações visuais das camadas compartilhadas diretamente para o espaço de saída.
• Eficiência de Parâmetros: Apenas o único bloco transformer é atualizado durante o ajuste fino por instrução. Na configuração do Vicuna-7B, isso constitui aproximadamente 3,1% do total de parâmetros do modelo, enquanto os 96,9% restantes (incluindo as camadas inferiores compartilhadas e as camadas textuais superiores) permanecem congelados.

Principais Contribuições

1. Inovação Arquitetural: O DVP introduz uma modificação estrutural que desacopla o processamento visual da pilha profunda do decodificador, desafiando a suposição de que os tokens visuais devem percorrer toda a profundidade do LLM.
2. Eficiência de Parâmetros: O método alcança um desempenho competitivo treinando apenas uma fração dos parâmetros (aprox. 3,1%) em comparação com o ajuste fino completo.
3. Validação de Hipótese: O trabalho valida duas hipóteses: (1) as camadas inferiores do LLM são suficientes para o alinhamento cross-modal, e (2) os tokens visuais nas camadas superiores requerem transformações mais compactas e diferentes dos tokens textuais.

Resultados Experimentais

Os autores avaliaram o DVP usando o framework LLaVA-1.5 com um backbone Vicuna-7B em três benchmarks: MME (percepção e cognição), POPE (alucinação de objetos) e ChartQA.

• Percepção (MME): O DVP alcançou uma pontuação de percepção de 1440, que é 96,3% da linha de base LLaVA-1.5-7B totalmente ajustada (1496). Notavelmente, o DVP superou uma linha de base de "Treinamento Normal" (que usou a arquitetura de divisão, mas treinou todos os parâmetros) em percepção (1440 vs. 1225), sugerindo que congelar parâmetros ajuda a preservar as habilidades de percepção visual.
• Alucinação (POPE): O DVP alcançou uma pontuação de 0,8619, superando a linha de base LLaVA-1.5-7B (0,8577) e a linha de base de Treinamento Normal (0,8381). Isso indica que a arquitetura desacoplada pode reduzir a alucinação de objetos ao evitar que o processamento visual seja influenciado pelas camadas superiores enviesadas pelo texto.
• Cognição e Compreensão de Gráficos: O DVP teve um desempenho comparável à linha de base em cognição no MME (327 vs. 324). No entanto, obteve uma pontuação menor no ChartQA (0,2356) em comparação com a linha de base de Treinamento Normal (0,432). Os autores atribuem isso à necessidade de referenciamento cruzado fino e iterativo entre detalhes visuais e rótulos textuais nas camadas superiores, o que é limitado na arquitetura de divisão.
• Eficiência: O DVP mantém um desempenho competitivo treinando apenas ~3,1% dos parâmetros, representando uma redução de ~32x nos parâmetros treináveis em comparação com o ajuste fino completo.

Significância e Alegações

O artigo afirma que as representações visuais em MLLMs podem ser efetivamente aprendidas através de um caminho desacoplado e eficiente em termos de parâmetros. As principais implicações incluem:

• Redundância no Processamento Visual: O sucesso de um único bloco transformer substituindo 15 camadas do decodificador sugere uma redundância substancial na forma como os atuais MLLMs processam informações visuais nas camadas superiores.
• Viés Indutivo Específico de Modalidade: A arquitetura introduz uma separação explícita entre "compreensão" (o que os tokens visuais carregam) e "geração" (como a informação é usada para o texto), potencialmente levando a sistemas mais interpretáveis e controláveis.
• Implantação e Adaptação: A extrema eficiência de parâmetros torna o DVP atraente para implantação em recursos limitados, adaptação a novos domínios visuais (onde apenas o bloco visual precisa ser atualizado) e cenários de aprendizado contínuo.
• Perspectiva de Destilação de Conhecimento: O bloco único comprime efetivamente o "conhecimento" de 15 camadas, sugerindo que o rank efetivo da transformação aplicada aos tokens visuais é muito menor do que a capacidade paramétrica total dessas camadas.

Os autores reconhecem limitações, incluindo a avaliação em um conjunto limitado de benchmarks, a heurística de ponto de divisão fixo e a falta de atenção cross-modal após a divisão, o que pode dificultar tarefas que exigem raciocínio visual-textual iterativo. Eles sugerem que trabalhos futuros poderiam explorar pontos de divisão adaptativos, múltiplos blocos visuais leves e extensões para escalas de modelos maiores.