Do LLMs and VLMs Share Neurons for Inference? Evidence and Mechanisms of Cross-Modal Transfer

1. Het Probleem

Grote Vision-Language Modellen (LVLMs) hebben snelle vooruitgang geboekt op taken zoals beeldbeschrijving en grounding. Echter, hun vermogen tot multi-stap redenering (inference) en compositieel beslissen blijft aanzienlijk achter bij sterke, tekst-only Large Language Models (LLMs).

Bestaande aanpakken om deze kloof te dichten, zoals het schalen van LVLMs met meer multimodale data, stuiten op beperkingen:

• Er is veel minder gekoppeld beeld-redenering data beschikbaar dan tekstcorpora.
• Het is onduidelijk hoe de geavanceerde redeneercapaciteiten van LLMs efficiënt naar multimodale contexten kunnen worden overgebracht zonder kostbare herscholing.

De kernvraag van het paper is: Kunnen we de mature redeneercapaciteiten van LLMs gebruiken om LVLMs te versterken tegen lage kosten, door te kijken naar gedeelde interne computationele structuren?

2. Methodologie en Onderzoek

De auteurs onderzoeken of LLMs en LVLMs dezelfde interne "neurale circuits" gebruiken voor redenering, ondanks hun verschillende trainingsdata (tekst vs. beeld+tekst).

A. Neurale Profiling en Identificatie van Gedeelde Neuronen

De auteurs voerden een neuron-niveau analyse uit om te bepalen welke eenheden (neuronen) het sterkst worden geactiveerd tijdens redeneertaken.

• Corpus: Ze bouwden een corpus van probe-inputs waarbij het model een probleem moet oplossen en een redenering (rationale) moet genereren.
• Detectie: Een neuron wordt als "geactiveerd" beschouwd als het uitschakelen ervan leidt tot een significante verandering in de output-embedding.
• Gedeelde Basis: Ze vergeleken de sets van geactiveerde neuronen in tekst-only LLMs (bijv. Qwen2.5-Math) en LVLMs (bijv. Qwen2.5-VL). Ze definieerden de Inference Basis Neurons als de intersectie van deze sets.

B. Causale Validatie (Amplificatie en Ablatie)

Om de functionaliteit te verifiëren:

• Ablatie: Ze schakelden de gedeelde neuronen uit (zero-out). Dit resulteerde in een totale ineenstorting van de redeneerprestaties (op 0.0), terwijl het willekeurig uitschakelen van evenveel neuronen slechts een matige daling veroorzaakte. Dit bewijst dat deze neuronen noodzakelijk en specifiek zijn voor redenering.
• Amplificatie: Ze versterkten de activatie van deze neuronen. Dit leidde tot een systematische verbetering van redeneergedrag en onthulde dat veel van deze neuronen specifiek gekoppeld zijn aan wiskundige concepten (bijv. algebra, meetkunde).

C. SNRF: Shared Neuron Low-Rank Fusion

Op basis van deze bevindingen stelden ze SNRF voor, een parameter-efficiënt raamwerk om redeneercapaciteit van een bron-LLM naar een doel-LVLM over te dragen.

• Stap 1: Identificatie: Bepaal de indexset $S$ van gedeelde neuronen tussen de twee modellen.
• Stap 2: Gewichtsverschil: Bereken het verschil in gewichten ($\Delta$) tussen de bron-LLM en de doel-LVLM.
• Stap 3: Low-Rank Benadering: Pas een SVD (Singular Value Decomposition) toe op $\Delta$ om een lage rang-benadering ($\Delta^{(r)}$) te krijgen.
• Stap 4: Selectieve Injectie: Pas deze update alleen toe op de gedeelde neuron-subruimte ($S$) en maskereer de rest. Dit zorgt ervoor dat alleen de redeneercircuits worden aangepast, terwijl de perceptuele paden (visuele verwerking) van de LVLM intact blijven.

3. Belangrijkste Bevindingen

1. Grote Overlap: Meer dan de helft van de top-geactiveerde neuronen tijdens multi-stap redenering wordt gedeeld tussen representatieve LLMs en LVLMs. Dit onthult een modality-invariant inference subspace.
2. Locatie: Deze gedeelde neuronen zijn voornamelijk geconcentreerd in de Key-neuronen (attn.k) van de Multi-Head Attention modules, met een secundaire aanwezigheid in Value-neuronen (attn.v). Ze vertonen clustering in vroege en late lagen.
3. Functionele Betekenis: De gedeelde neuronen coderen voor interpretabele, concept-niveau effecten, waarbij een groot deel specifiek gerelateerd is aan wiskundige inferentie.
4. Overdraagbaarheid: Zelfs modellen met verschillende taalkernen (backbones) tonen een niet-verwaarloosbare overlap, wat suggereert dat er universele redeneereenheden bestaan die de architectuur overstijgen.

4. Resultaten

De auteurs evalueerden SNRF op diverse benchmarks (MathVista, ScienceQA, MMMU-Pro, MME, POPE) met modellen zoals Qwen2.5-VL en Intern2.5-VL.

• Verbeterde Redenering: SNRF leverde consistente verbeteringen op in wiskundige redenering (bijv. +4.7 punten op MathVista Solution voor Qwen2.5-VL-3B) en wetenschappelijke vraagstukken.
• Behoud van Perceptie: In tegenstelling tot methoden die het hele model herscholen, behield SNRF de oorspronkelijke visuele en perceptuele capaciteiten. De scores voor hallucinatie (POPE) en algemene perceptie (MME) bleven stabiel of verbeterden licht.
• Vergelijking met Baselines: SNRF presteerde beter dan methoden die gebaseerd zijn op Supervised Fine-Tuning (SFT) of Reinforcement Learning (RL) op redeneertaken, en overtrof ook andere parameter-merging technieken (zoals Lineaire Merging, DARE, FRANK) omdat deze laatste geen selectieve focus op gedeelde neuronen hebben.
• Efficiëntie: De methode vereist geen grote-scale multimodale fine-tuning en voegt slechts een minimale hoeveelheid parameters toe (via low-rank adapters).

5. Significantie en Bijdragen

Dit paper levert drie belangrijke bijdragen aan het veld van multimodale AI:

1. Empirisch Bewijs: Het biedt het eerste bewijs dat LLMs en LVLMs een gedeelde neurale subspace delen voor inferentie, wat suggereert dat redenering een fundamentele, modality-onafhankelijke eigenschap is binnen transformer-architecturen.
2. Interpretatie: Het introduceert een causale analyse-methode die laat zien dat deze gedeelde neuronen niet willekeurig zijn, maar specifieke, interpreteerbare concepten (zoals wiskundige operatoren) coderen.
3. SNRF Framework: Het stelt een nieuwe, kostenefficiënte methode voor om kennis over te dragen van tekst-only modellen naar multimodale modellen. Dit opent de deur voor het "upgraden" van LVLMs met geavanceerde redeneercapaciteiten zonder de noodzaak van enorme hoeveelheden duur multimodale trainingsdata.

Conclusie:
De studie concludeert dat gedeelde neuronen fungeren als een interpreteerbare brug tussen tekst- en visuele modellen. Door deze gedeelde circuits selectief te benutten via SNRF, kunnen onderzoekers de redeneerkwaliteit van LVLMs aanzienlijk verbeteren terwijl de visuele vaardigheden behouden blijven, wat een nieuwe richting aangeeft voor de ontwikkeling van robuuste multimodale AI-systemen.