Technische Samenvatting: Beyond Encoder Accumulation

Probleemstelling

Terwijl Large Vision-Language Models (LVLMs) opschalen om meerdere heterogene visuele stromen te integreren, is het begrijpen van hoe diverse encoders interageren onder gezamenlijke training cruciaal voor een principiële vormgeving. De huidige LVLMs missen echter robuuste instrumenten om deze interacties te evalueren. Bestaande methoden, zoals Inference-time Masking (IM) op vaste checkpoints, lijden aan twee primaire beperkingen:

1. Training-Training Mismatch: Het evalueren van de rollen van encoders door takken tijdens de inferentie te maskeren, wijkt af van de werkelijke trainingspipeline, wat leidt tot onbetrouwbare conclusies over de bijdragen van encoders.
2. Onvolledige Enumeratie: Geen enkele voorafgaande methode heeft de volledige set mogelijke encoder-subsets geëvalueerd, wat het moeilijk maakt om parameter-efficiënte configuraties te identificeren vóór de training.

Als gevolg hiervan worstelen ontwerpers met de vraag welke encoders zij moeten opnemen, waarbij ze vaak vertrouwen op heuristieken die mogelijk niet de ware optimalisatielandschap van gezamenlijke training weerspiegelen.

Methodologie

De auteurs stellen een Training-time Removal (TR) protocol voor om de rollen van encoders opnieuw te onderzoeken. Gebruikmakend van de Eagle-X5 architectuur (Vicuna-7B decoder met vijf visuele encoders: ConvNeXt, EVA-02, CLIP, Pix2Struct en SAM) als testbed, voert de studie het volgende uit:

• Herstelt alle 31 niet-lege subsets van de vijf encoders vanaf nul onder een uniforme pipeline.
• Evalueert deze 31 modellen op de 16-benchmark Cambrian-1 suite (dekking van General, Knowledge, OCR&Chart en Vision-Centric taken).
• Contrasteert deze resultaten met de Inference-time Masking (IM) resultaten van eerder werk (Wang et al.) om discrepanties tussen inferentie-tijd contrafeitelijkheden en training-tijd realiteiten te benadrukken.
• Decomponereert de bijdragen van encoders in twee assen: Capaciteit en Noodzakelijkheid.
• Analyseert de pre-projector effectieve rang van elke encoder om signalen op representatieniveau te begrijpen, onafhankelijk van het aantal parameters.

Belangrijkste Bijdragen

1. Attributieprotocol: Training-time Removal (TR) vs. Inference-time Masking (IM)

De studie stelt vast dat IM en TR systematisch verschillende rangschikkingen opleveren.

• Rangschikkingsdiscrepantie: Onder IM staat EVA-02 op de eerste plaats; onder TR (de grondwaarheid) staat ConvNeXt op de eerste plaats.
• Stabiliteit: TR vertoont een lagere cross-context variantie dan IM voor de meeste encoders, wat suggereert dat het opnieuw trainen van subsets een stabielere meting van individuele bijdragen biedt.
• Ontwerpimpact: De keuze van het protocol verandert de praktische aanbevelingen. Zo suggereert de IM-gebaseerde heuristiek een top-paar van ConvNeXt+EVA-02, terwijl het TR-gebaseerde optimale paar CLIP+ConvNeXt is.

2. Capaciteit–Noodzakelijkheid Decompositie

De auteurs introduceren een tweeledig kader om de rollen van encoders te ontrafelen:

• Capaciteit: De score die een encoder behaalt op zijn eigen (singleton) prestatie relatief aan de volledige pool.
• Noodzakelijkheid: De prestatiedaling wanneer een encoder wordt verwijderd uit de volledige pool (leave-one-out drop).
• Bevindingen: Deze assen zijn niet uitwisselbaar. Het paren van de twee hoogste-Capaciteit encoders is suboptimaal. In plaats daarvan is de optimale strategie het paren van een Universal Core (hoge Capaciteit, hoge Noodzakelijkheid) met een Adaptive Complement (gemiddelde Capaciteit, lage Noodzakelijkheid, maar rank-expanderend onder gezamenlijke training).
• Taxonomie: Deze decompositie levert een vijfklasse-taxonomie op:
  • Universal Core: ConvNeXt (sterk over alle families).
  • Adaptive Complement: CLIP (rank expandeert onder gezamenlijke training).
  • Vision-Centric Specialist: EVA-02.
  • Niche Specialist: Pix2Struct (OCR&Chart).
  • Replaceable: SAM.

3. Mechanisme op Representatieniveau: Effectieve Rang

Bij een vast aantal parameters wordt de resterende variatie in score verklaard door de pre-projector effectieve rang.

• Drie Regimes:
  1. Singleton: De score wordt voorspeld door de eigen effectieve rang van de encoder.
  2. Pairs: De score wordt voorspeld door de verandering in de rang van de complementaire encoder onder gezamenlijke training ($\Delta$rank). Het beste paar (CLIP+ConvNeXt) combineert een anker wiens rang intact blijft met een complement wiens rang expandeert.
  3. Full Pool: De score verzadigt wanneer de gemiddelde per-encoder rang stopt met groeien, wat duidt op een gedeeld projector-budget-beperking.
• Implicatie: Hogere-rang, minder gecollapseerde projector-inputs komen overeen met een gunstiger optimalisatieregime bij de interface tussen encoder en projector.

Resultaten

• Verminderde Meeropbrengst: Het toevoegen van encoders levert sterk verminderde meeropbrengsten op. Een goed gekozen model met twee encoders (CLIP+ConvNeXt) herstelt 97% van de score van het volledige vijf-encoder model. De derde en vierde encoders leveren verwaarloosbare winst, waarbij de vijfde slechts een kleine marge herstelt voor Vision-Centric taken.
• Optimale Pairing: Het beste paar is CLIP + ConvNeX, niet het paar van de twee hoogste-Capaciteit encoders (ConvNeXt + EVA-02). Dit paar overbrugt 97% van het gat tussen een enkele CLIP-encoder en de volledige pool.
• Taakspecifieke Verzadiging:
  • OCR&Chart en General taken verzadigen met twee encoders.
  • Vision-Centric taken blijven profiteren tot de volledige pool van vijf encoders.
  • Knowledge taken worden gedomineerd door de LLM-prior, waardoor de visuele encoder-bijdragen minimaal zijn.
• Rang vs. Parameters: Parameteraantal is een grove voorspeller. Encoders met vergelijkbare parameteraantallen (bijv. CLIP, EVA-02, SAM) vertonen grote variaties in effectieve rang en singleton scores. Effectieve rang is een preciezere beschrijving van de kwaliteit van de representatie.

Betekenis en Claims

Het artikel claimt een methodologische kloof bloot te leggen in het ontwerp van multi-encoder LVLMs, specif kinderlijk de afhankelijkheid van benaderingen met vaste checkpoints (IM) in plaats van training-tijd contrafeitelijkheden.

• Praktische Begeleiding: De studie biedt concrete primitieven voor compact-pool ontwerp: selecteer een hoge-Capaciteit anker en een Adaptive Complement wiens rang expandeert onder gezamenlijke training, in plaats van simpelweg de sterkste individuele encoders te selecteren.
• Implicaties voor Distillatie: De bevindingen suggereren dat het distilleren van een "Replaceable" encoder een laag risico vormt, maar het distilleren van een "Adaptive Complement" is uitdagend omdat de bijdrage ervan afhangt van dynamische encoder-projector interacties (rank expansie) die een bevroren student niet kan reproduceren.
• Toekomstige Relevantie: Terwijl fundamentele modellen voor wereldmodellering en fysieke AI steeds heterogene stromen samenvoegen, betogen de auteurs dat volledige enumeratie-training onhaalbaar zal worden. De voorgestelde Capaciteit–Noodzakelijkheid decompositie en rang-analyse bieden een kader om deze eigenschappen te schatten met minimale hertraining, potentieel via lichtgewicht surrogaten gebaseerd op pre-projector geometrie.

De auteurs blijven bescheiden en merken op dat de "Anchor with Rank-Expanding Complement" heuristiek beschrijvend is voor de Eagle-X5 pool en verdere validatie vereist als een generieke regel voor ongeziene pools.