💬 NLP

Do LLMs and VLMs Share Neurons for Inference? Evidence and Mechanisms of Cross-Modal Transfer

Este artigo demonstra que LLMs e VLMs compartilham uma subspace de inferência invariante à modalidade, propondo o método SNRF para transferir circuitos de raciocínio maduros de modelos de texto para modelos multimodais de forma eficiente, melhorando o desempenho em tarefas complexas sem necessidade de ajuste fino em larga escala.

Autores originais: Chenhang Cui, An Zhang, Yuxin Chen, Gelei Deng, Jingnan Zheng, Zhenkai Liang, Xiang Wang, Tat-Seng Chua

Publicado 2026-02-24

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Chenhang Cui, An Zhang, Yuxin Chen, Gelei Deng, Jingnan Zheng, Zhenkai Liang, Xiang Wang, Tat-Seng Chua

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem dois amigos muito inteligentes:

O "Especialista em Texto" (LLM): Ele é um gênio em matemática, lógica e raciocínio complexo. Ele pode resolver problemas de física, escrever poemas e fazer deduções incríveis, mas ele é "cego". Ele só vê palavras.
O "Especialista Multimodal" (LVLM): Ele é o mesmo tipo de cérebro, mas agora tem olhos. Ele pode ver fotos, gráficos e desenhos. O problema é que, quando precisa raciocinar sobre o que vê (como resolver um problema de matemática em um gráfico), ele é um pouco mais lento e menos esperto que o seu amigo "Especialista em Texto".

A grande pergunta que os pesquisadores deste artigo fizeram foi: "Por que o 'Especialista Multimodal' não é tão bom em raciocinar quanto o 'Especialista em Texto', se eles usam a mesma arquitetura de cérebro?"

A Descoberta: O "Cérebro Compartilhado"

Os autores descobriram algo fascinante: Eles compartilham os mesmos "neuronas" (as células do cérebro) para pensar!

Imagine que o cérebro de cada modelo é uma cidade gigante com milhões de prédios (neurônios). Quando o "Especialista em Texto" resolve um problema de matemática, ele acende uma luz em cerca de 500 prédios específicos. Quando o "Especialista Multimodal" tenta fazer a mesma coisa, ele acende quase os mesmos 500 prédios.

Mais de metade dos neurônios que fazem o trabalho pesado de raciocínio são idênticos nos dois modelos. Eles são como uma "estrada principal" que ambos usam para viajar da pergunta à resposta. O problema é que, no modelo multimodal, essa estrada está um pouco bloqueada ou menos bem pavimentada porque o cérebro também está tentando processar a imagem.

A Solução: SNRF (A "Ponte de Baixo Custo")

Como consertar isso sem ter que reconstruir toda a cidade (o que custaria bilhões de dólares em computação)?

Os autores criaram uma técnica chamada SNRF (Fusão de Baixo Rank de Neurônios Compartilhados). Pense nisso como uma ponte mágica e barata:

Identificação: Eles olham para os dois cérebros e dizem: "Ok, esses 500 prédios são os mesmos. Vamos focar neles."
Transferência: Eles pegam o "manual de instruções" (os pesos) desses prédios do modelo "Especialista em Texto" (que é muito bom em raciocínio) e os copiam para os prédios correspondentes do modelo "Multimodal".
Filtragem: Eles fazem isso com muito cuidado, garantindo que não estraguem os prédios que servem para "enxergar" (processar imagens). Eles só atualizam a parte do cérebro que serve para "pensar".

É como se você pegasse o cérebro de um mestre xadrez e, sem mexer nos olhos dele, apenas ajustasse os circuitos de lógica para que ele pudesse jogar xadrez olhando para um tabuleiro real, e não apenas para um texto.

O Resultado: O Melhor dos Dois Mundos

O resultado dessa "ponte" foi impressionante:

O Multimodal ficou mais esperto: A capacidade de resolver problemas de matemática, ciências e lógica melhorou muito, quase alcançando o nível do especialista em texto puro.
O Multimodal não ficou "cegado": Como eles só mexeram nos neurônios de raciocínio, a capacidade de ver e descrever imagens permaneceu intacta. O modelo não começou a alucinar ou esquecer como ver.
Foi barato: Eles não precisaram treinar o modelo do zero com milhões de imagens. Foi uma "ajuste fino" cirúrgico e rápido.

Resumo em uma Analogia

Imagine que o modelo Multimodal é um carro esportivo que tem um motor excelente (o cérebro de texto), mas foi equipado com rodas de bicicleta (a parte visual) e o motorista não sabe dirigir muito bem em estradas de terra (raciocínio visual).

Os pesquisadores descobriram que o motor e a transmissão (os neurônios de raciocínio) são os mesmos do carro de corrida original. Em vez de comprar um novo carro, eles apenas trocaram o óleo e ajustaram a injeção de combustível especificamente na parte do motor que serve para acelerar.

De repente, o carro com rodas de bicicleta começou a andar tão rápido e com tanta inteligência quanto o carro de corrida original, sem precisar de uma fábrica inteira nova.

Em suma: O artigo prova que a inteligência de raciocínio é uma "ferramenta universal" que pode ser transferida de modelos de texto para modelos de imagem de forma muito barata, desde que saibamos exatamente quais "parafusos" (neurônios) apertar.

1. Problema

Os Grandes Modelos de Visão e Linguagem (LVLMs) avançaram rapidamente em tarefas como legendagem e reconhecimento, mas ainda apresentam desempenho significativamente inferior aos Grandes Modelos de Linguagem (LLMs) puramente textuais em tarefas que exigem raciocínio multi-etapa e tomada de decisão composicional.

Desafio Atual: A abordagem comum para fechar essa lacuna envolve escalar LVLMs com mais dados multimodais e modelos maiores. No entanto, isso enfrenta obstáculos: a quantidade de dados pareados (imagem-raciocínio) é limitada em comparação com os vastos corpora de texto, e não está claro como transferir habilidades gerais adquiridas por LLMs para configurações multimodais de forma eficiente.
Questão Central: É possível aproveitar as capacidades de raciocínio mais maduras dos LLMs para aprimorar os LVLMs com um custo relativamente baixo, sem necessidade de re-treinamento em larga escala?

2. Metodologia e Descobertas Fundamentais

Os autores investigam se LLMs e LVLMs compartilham uma infraestrutura computacional interna comum para o raciocínio, operando no nível de neurônios (unidades individuais dentro das matrizes de pesos do Transformer).

A. Identificação de Neurônios Compartilhados

Perfilamento de Ativação: Os pesquisadores definiram um corpus de detecção de neurônios usando problemas de raciocínio (ex: GSM8K para texto, Geo3K para visão). Eles identificaram quais neurônios são consistentemente ativados durante a inferência em ambos os tipos de modelos.
Definição de Neurônios de Base de Inferência ( $N_{shared}$ ): Um neurônio é considerado "compartilhado" se ele estiver consistentemente ativado em tarefas de inferência tanto no modelo de texto quanto no modelo visão-linguagem.
Descoberta 1 (Sobreposição Massiva): Em diversas famílias de modelos (ex: Qwen2.5-VL vs. Qwen2.5-Math, Idefics3 vs. Deepseek-LLaMA3), mais de 50% dos neurônios mais ativados durante a inferência são compartilhados. Curiosamente, essa sobreposição ocorre mesmo entre modelos com backbones de linguagem diferentes, sugerindo unidades universais de inferência.
Localização: Os neurônios compartilhados concentram-se principalmente nas matrizes de chaves de atenção ($attn.k$) e, secundariamente, nas matrizes de valores ($attn.v$), com aglomerados distintos nas camadas iniciais e finais.

B. Validação Causal e Funcional

Análise de Amplificação: Os autores amplificaram a ativação dos neurônios compartilhados e observaram que isso fortalece sistematicamente o comportamento de raciocínio.
Descoberta 2 (Causalidade): Ao desativar (zerar) apenas os neurônios compartilhados, o desempenho do modelo em tarefas de raciocínio matemático cai para 0.0, enquanto a ablação aleatória de neurônios causa apenas uma queda moderada. Isso prova que esses neurônios são essenciais e específicos para a inferência.
Descoberta 3 (Semântica Matemática): A amplificação revelou que muitos desses neurônios codificam conceitos matemáticos específicos (álgebra, geometria, aritmética), atuando como portadores de conhecimento matemático dentro da rede.

3. Contribuição Principal: SNRF (Shared Neuron Low-Rank Fusion)

Com base na descoberta de que existe um "subespaço de neurônios compartilhados", os autores propõem o SNRF, um framework eficiente em parâmetros para transferir circuitos de inferência de um LLM (fonte) para um LVLM (alvo).

Funcionamento do SNRF:

Identificação: Perfila as ativações cruzadas para identificar o conjunto de índices de neurônios compartilhados ( $S_{\ell,p}$ ) em cada camada e tipo de projeção.
Cálculo da Diferença: Calcula a diferença de pesos entre o modelo fonte e o alvo ( $\Delta = W_{src} - W_{tgt}$ ).
Aproximação de Baixo Rank: Aplica uma decomposição em Valores Singulares (SVD) na diferença de pesos, mantendo apenas os componentes de baixo rank ( $r$ ).
Fusão Seletiva: Projeta essa atualização de baixo rank apenas no subespaço dos neurônios compartilhados.
- A fórmula de atualização é: $\tilde{W}_{\ell,p} = W_{tgt} + \beta \cdot M_{S_{\ell,p}}(\Delta^{(r)}_{\ell,p})$ , onde $M$ é um operador de máscara que isola os neurônios compartilhados.
Vantagem Teórica: Diferente da fusão linear simples (que mistura todos os pesos), o SNRF evita perturbar os caminhos de percepção visual do LVLM, atualizando apenas os circuitos de raciocínio compartilhados.

4. Resultados Experimentais

O SNRF foi avaliado em diversos benchmarks multimodais (MathVista, MME, POPE, ScienceQA, MMMU, MMMU-Pro).

Desempenho em Raciocínio: O método produziu ganhos consistentes em tarefas de inferência matemática e científica.
- Exemplo: No MathVista, houve um aumento médio de +4.7 pontos na solução e +2.6 pontos no Chain-of-Thought (CoT) para o modelo Qwen2.5-VL-3B.
- No MMMU-Pro (um benchmark rigoroso de raciocínio), o SNRF alcançou o melhor desempenho entre as comparações, superando métodos de treinamento supervisionado (SFT) e outras técnicas de fusão (como DARE e FRANK).
Preservação de Capacidades: Ao contrário de métodos que degradam a percepção, o SNRF manteve ou até melhorou ligeiramente as métricas de percepção (MME) e detecção de alucinação (POPE), pois não alterou os neurônios responsáveis pela percepção visual.
Eficiência: O método não requer treinamento em larga escala com dados multimodais, sendo uma técnica de "fusão" (merging) que ajusta pesos existentes de forma parcimoniosa.

5. Significado e Conclusão

Este trabalho oferece uma evidência empírica e teórica de que LLMs e LVLMs compartilham um subespaço de neurônios funcionalmente idêntico para o raciocínio, independentemente da modalidade de entrada (texto ou imagem).

Implicação Teórica: A inferência complexa parece ser uma habilidade "modality-invariant" (invariante à modalidade) que reside em circuitos neuronais específicos dentro da arquitetura Transformer.
Implicação Prática: O SNRF demonstra que é possível transferir habilidades de raciocínio maduras de modelos de texto para modelos multimodais de forma barata e eficiente, sem a necessidade de coletar massivos conjuntos de dados de raciocínio multimodal. Isso abre caminho para melhorar a inteligência de modelos multimodais utilizando o conhecimento já adquirido por LLMs, focando apenas na "ponte" neural compartilhada.

Em resumo, o artigo prova que a "inteligência" de raciocínio em modelos multimodais pode ser desbloqueada e aprimorada através da reutilização direta de circuitos neuronais compartilhados com modelos de linguagem puros.