🤖 AI

Selective LoRA for Visual Tokens and Attention Heads

O artigo apresenta o Image-LoRA, um método de ajuste fino eficiente em parâmetros que adapta seletivamente apenas os tokens visuais e um subconjunto compacto dos caminhos de valor das cabeças de atenção para reduzir os custos computacionais, preservando ao mesmo tempo o desempenho em texto puro do backbone congelado.

Autores originais: Tiange Luo, Lajanugen Logeswaran, Jaekyeom Kim, Justin Johnson, Honglak Lee

Publicado 2026-05-12

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Tiange Luo, Lajanugen Logeswaran, Jaekyeom Kim, Justin Johnson, Honglak Lee

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: "O Alfaiate Visual-Only"

Imagine que você tem um bibliotecário muito inteligente e bem lido (o Modelo Visão-Linguagem ou VLM). Este bibliotecário é ótimo em ler livros (texto), mas está sendo solicitado a aprender a descrever imagens (fotos) também.

Normalmente, quando queremos ensinar uma nova habilidade a este bibliotecário, usamos um método chamado LoRA (Adaptação de Baixo RANK). Pense no LoRA como dar ao bibliotecário um conjunto de notas adesivas com novas instruções. A maneira padrão de fazer isso é colocar uma nota adesiva em cada página única do livro, independentemente de essa página ter uma imagem ou apenas texto.

O Problema:
O artigo argumenta que essa abordagem de "nota adesiva em cada página" é desperdiçada.

É bagunçado: A capacidade de leitura do bibliotecário (raciocínio textual) já é perfeita. Adicionar notas às páginas de texto pode acidentalmente atrapalhar suas habilidades de leitura.
É caro: Escrever notas em milhares de páginas de texto leva muito tempo e energia, mesmo que o bibliotecário precise apenas aprender sobre as imagens.

A Solução: Image-LoRA
Os autores propõem um novo método chamado Image-LoRA. Em vez de colocar notas em todos os lugares, eles agem como um alfaiate cirúrgico que apenas costura as partes da roupa que precisam de alteração.

Veja como o Image-LoRA funciona, dividido em três etapas simples:

1. Apenas Toque nas "Páginas de Imagem" (Seletividade de Tokens)

Em um modelo de computador, uma imagem é dividida em muitas pequenas peças chamadas "tokens visuais", e o texto é dividido em "tokens de texto".

LoRA Padrão: Atualiza o modelo para todos os tokens (texto e imagens).
Image-LoRA: Aplica as atualizações apenas aos tokens visuais (as partes da imagem).
A Analogia: Imagine que o bibliotecário está lendo uma história em quadrinhos. O LoRA Padrão reescreve os balões de diálogo (texto) e os desenhos. O Image-LoRA diz: "Precisamos apenas corrigir os desenhos. Deixe os balões de diálogo exatamente como estão." Isso garante que o bibliotecário não esqueça como ler texto enquanto aprende sobre imagens.

2. Apenas Use os "Melhores Olhos" (Seletividade de Cabeças)

Dentro do modelo, existem muitas "cabeças de atenção". Pense nelas como diferentes pares de óculos ou diferentes olhos especializados que olham para os dados.

LoRA Padrão: Tenta ajustar todos os olhos, esperando que alguns deles fiquem melhores em ver imagens.
Image-LoRA: Primeiro, executa um teste rápido para ver quais olhos específicos são realmente bons em olhar para imagens. Em seguida, ajusta apenas esses olhos específicos.
A Analogia: Em vez de dar novas lentes a todas as 100 pessoas em uma multidão, o método identifica as 20 pessoas que estão realmente olhando para a imagem e dá óculos apenas a elas. Isso economiza uma quantidade massiva de esforço.

3. Apenas Altere o "Conteúdo" (Seletividade do Caminho de Valor)

Dentro do "olho" do modelo, existem diferentes partes: uma decide onde olhar, e outra decide o que ver.

LoRA Padrão: Pode tentar mudar onde o olho olha e o que ele vê.
Image-LoRA: Altera apenas o que o olho vê (o caminho do "Valor").
A Analogia: Imagine que o bibliotecário está olhando para uma foto de um gato. A parte do "onde" decide olhar para o rosto do gato. A parte do "o que" decide que o gato é fofo e laranja. O Image-LoRA atualiza apenas a parte do "o que" para tornar a descrição do gato mais precisa, sem atrapalhar a parte do "onde".

Por Que Isso Importa? (Os Resultados)

O artigo testou este método em várias tarefas, como encontrar objetos em capturas de tela (ScreenSpot-Pro) e responder perguntas sobre imagens (TextVQA).

É Mais Rápido e Barato: Como pula as páginas de texto e ignora os olhos "ruins", requer muito menos poder de computação (FLOPs) para treinar. Em alguns casos, foi 4 a 5 vezes mais rápido treinar do que o método padrão.
É Tão Inteligente: Apesar de usar menos recursos, desempenhou tão bem quanto o método padrão em tarefas visuais.
Protege as Habilidades de Leitura: Quando testaram o bibliotecário em problemas de matemática de texto puro (GSM8K) após ensiná-lo sobre imagens, o bibliotecário Image-LoRA não perdeu nenhuma habilidade de leitura. O método padrão, no entanto, ficou ligeiramente pior em matemática porque atrapalhou as páginas de texto.

Resumo

O Image-LoRA é uma maneira mais inteligente de ensinar modelos de IA sobre imagens. Em vez de reescrever todo o livro, ele edita apenas as imagens, usa apenas os melhores olhos para olhá-las e altera apenas a descrição do que é visto. Isso torna o treinamento mais rápido, mais barato e mais seguro para as habilidades de leitura existentes do modelo.

Enunciação do Problema

A Adaptação de Baixo Rank (LoRA) padrão é um método amplamente utilizado para ajuste fino eficiente em parâmetros (PEFT) de grandes modelos. No entanto, quando aplicada a Modelos Visão-Linguagem (VLMs), a LoRA padrão impõe um prior estrutural fraco: ela aplica a mesma atualização de baixo rank a todas as posições de tokens (texto do sistema, texto do usuário, tokens visuais e tokens de saída) e a todas as cabeças de atenção.

Os autores argumentam que essa abordagem "todos os tokens, todas as cabeças" é ineficiente e potencialmente prejudicial para VLMs porque:

Heterogeneidade: As entradas de VLM misturam modalidades distintas. Trabalhos anteriores sugerem que apenas cabeças de atenção específicas são cruciais para tarefas visuais (ancoragem, apontamento), enquanto outras lidam com a linguagem.
Perturbação Desnecessária: Adaptar todos os tokens, incluindo texto puro, pode perturbar desnecessariamente as fortes capacidades de raciocínio linguístico herdadas da base de linguagem congelada, mesmo quando dados multimodais são utilizados.
Ineficiência: Aplicar atualizações ao texto de prompt e aos tokens de resposta (que não contêm informações visuais) desperdiça recursos computacionais (FLOPs) e parâmetros durante o treinamento.

Metodologia: Image-LoRA

Os autores propõem Image-LoRA, uma receita de PEFT orientada à visão que trata a LoRA como uma atualização residual em nível de token ( $Y = XW + X\Delta W$ ) e restringe essa atualização com base em três formas de seletividade:

1. Seletividade de Token (Apenas Visual)
Em vez de aplicar o adaptador a toda a sequência, o Image-LoRA injeta a atualização residual apenas no intervalo de tokens visuais ( $I_v$ ).

Para entradas puramente textuais ( $I_v = \emptyset$ ), o adaptador permanece inativo, e o modelo segue exatamente a rede base congelada.
Isso preserva as capacidades de raciocínio apenas em texto do modelo e reduz os FLOPs de treinamento ao pular o cálculo para tokens de prompt e resposta.

2. Seletividade de Cabeça (Subconjunto de Cabeças de Atenção)
O Image-LoRA atualiza apenas um subconjunto compacto de cabeças de atenção, em vez de todas as cabeças. A seleção é determinada por uma estimativa de influência de uma única passagem:

Uma sonda de rank-1 leve (apenas token visual) é anexada a cada cabeça.
O sistema executa uma única passagem direta e reversa em um conjunto de sondas para calcular a sensibilidade da perda à atualização de cada cabeça (pontuação de influência).
As cabeças são classificadas por essa pontuação. Para garantir diversidade, uma seleção "cosine farthest-first" é aplicada em características de diversidade derivadas dos gradientes.
Um orçamento global ( $K_{sel}$ ) é distribuído entre as camadas com base em um parâmetro de temperatura ( $\tau$ ) que controla o quão estritamente o orçamento segue a importância agregada de cada camada.

3. Seletividade de Projeção (Apenas Valor)
Dentro das cabeças selecionadas, a adaptação é restrita apenas à projeção de Valor (V).

Racional: Da perspectiva de um token de texto, as chaves visuais determinam onde atender, enquanto os valores visuais determinam qual conteúdo é recuperado. Atualizar valores visuais altera a evidência visual consumida pelo modelo de linguagem sem modificar diretamente as representações de tokens não visuais no local de injeção.
Estudos de ablação mostram que este design "apenas V" supera a adaptação das projeções Q, K ou O, ou combinações delas, particularmente em regimes ricos em imagens.

Mecanismos Adicionais:

Compartilhamento de Parâmetros: A matriz $A$ na decomposição LoRA ( $\Delta W = AB$ ) é compartilhada entre todas as cabeças selecionadas dentro de uma camada, enquanto $B$ permanece específica por cabeça. Isso reduz significativamente os parâmetros treináveis.
Normalização do Tamanho da Seleção: Como o número de cabeças selecionadas varia por camada, um fator de normalização $\nu(N_{chosen}) = 1/\sqrt{N_{chosen}}$ é aplicado ao fator de escala. Isso estabiliza a magnitude das atualizações por camada, impedindo que o incremento somado cresça com o número de cabeças escolhidas.

Principais Contribuições

Estrutura Image-LoRA: Um método PEFT inovador que restringe a adaptação a tokens visuais, um subconjunto selecionado de cabeças de atenção e o caminho de valor.
Eficiência: O método reduz significativamente os parâmetros treináveis e os FLOPs exclusivos do adaptador em comparação com a LoRA padrão.
Preservação do Raciocínio em Texto: Ao excluir tokens de texto da adaptação, o método garante que as capacidades de raciocínio apenas em texto (por exemplo, em GSM8K) sejam preservadas após o ajuste fino para tarefas visuais.
Gargalo de Informação: Os autores postulam que as restrições estruturais mais apertadas atuam como um gargalo de informação benéfico, forçando o modelo a depender de evidências visuais em vez de pistas textuais superficiais.

Resultados Experimentais

Os autores avaliaram o Image-LoRA em Qwen2.5-VL (7B e 72B), LLaVA-NeXT-7B e InternVL3-8B em vários benchmarks:

Localização Visual (ScreenSpot-Pro, RefCOCO):
- O Image-LoRA iguala ou aproxima-se estreitamente da precisão da LoRA padrão (que adapta projeções Q e V em todos os tokens/cabeças).
- Em regimes ricos em tokens de imagem (por exemplo, proporção texto:imagem de 1:5), o Image-LoRA mostra compensações favoráveis, alcançando precisão comparável com parâmetros e FLOPs substancialmente menores.
- Para Qwen2.5-VL-7B no ScreenSpot-Pro, o Image-LoRA usa aproximadamente 1/4 dos parâmetros e significativamente menos FLOPs do que a LoRA padrão.
Generalização (TextVQA, VideoQA):
- O método generaliza para QA de imagem rica em texto e QA de vídeo, mantendo desempenho comparável à LoRA padrão.
Preservação Apenas em Texto (GSM8K):
- Após o ajuste fino em tarefas visuais, os modelos Image-LoRA mantêm seu desempenho original no GSM8K (raciocínio matemático), enquanto os modelos LoRA padrão mostraram uma leve degradação.
Gargalo de Informação (ViLP):
- No benchmark ViLP (projetado para testar a dependência de priores linguísticos versus evidência visual), o Image-LoRA superou a LoRA padrão em 7,67%, sugerindo que o método reduz com sucesso o "atalho" via priores linguísticos.

Significado e Alegações

O artigo afirma que o Image-LoRA oferece uma estratégia de adaptação mais direcionada e eficiente para VLMs. Ao reconhecer a natureza heterogênea das entradas de VLM, o método:

Melhora a Eficiência: Reduz drasticamente o custo computacional do ajuste fino (FLOPs exclusivos do adaptador) e o número de parâmetros treináveis sem sacrificar o desempenho em tarefas visuais.
Protege as Capacidades Linguísticas: Previne a degradação das habilidades de raciocínio apenas em texto frequentemente observada ao adaptar todos os tokens.
Melhora a Ancoragem Visual: O gargalo de informação mais apertado ajuda o modelo a depender mais da evidência visual, melhorando o desempenho em tarefas onde priores linguísticos podem ser enganosos.

Os autores notam limitações, incluindo a necessidade de otimizações eficientes no nível do kernel para lidar com o roteamento dinâmico de tokens visuais durante a inferência e a dependência atual de uma heurística específica de seleção de cabeças que poderia ser explorada mais a fundo.