Renaissance: Investigating the Pretraining of Vision-Language Encoders

Dit paper introduceert het Renaissance-framework om best practices voor het vooraf trainen van vision-language-encoders te onderzoeken, waarbij wordt aangetoond dat het bevriezen van grote delen van het model rekenkracht bespaart zonder prestatieverlies en dat de keuze van de basisarchitectuur (visueel versus tekstueel) significante gevolgen heeft.

De kern

De Renaissance: Een Nieuwe Gids voor Slimme Computerhersenens

Stel je voor dat je een superintelligente robot wilt bouwen die niet alleen tekst kan lezen, maar ook foto's kan "zien" en begrijpen. In de afgelopen jaren zijn er honderden van deze robots (modellen) gebouwd, maar de bouwhandleidingen zijn vaak verwarrend, duur en moeilijk te volgen. De meeste onderzoekers focussen nu op enorme, complexe robots die alles kunnen doen, maar die zijn zo zwaar dat alleen de rijkste universiteiten ze kunnen draaien.

De auteurs van dit artikel, Clayton en Casey van de Boise State University, zeggen: "Wacht even, laten we eerst kijken naar de kleinere, efficiëntere robots (de 'encoders') en ontdekken hoe we ze slimmer en goedkoper kunnen maken." Om dit te doen, hebben ze een nieuw gereedschapsschakelbord gebouwd dat ze Renaissance noemen.

Hier is wat ze hebben ontdekt, vertaald in alledaagse taal:

1. Het Gereedschap: Renaissance

Stel je Renaissance voor als een LEGO-bouwpakket voor AI.
Vroeger was het bouwen van een visueel-taalmodel (een robot die ziet én leest) als het proberen om een auto te bouwen met losse onderdelen die niet bij elkaar passen. Renaissance is een doos met alles-in-één: je kunt er verschillende motoren (taalmodellen) en camera's (beeldmodellen) in klikken, ze aan elkaar koppelen en testen of ze goed rijden. Het maakt het voor onderzoekers veel makkelijker om te experimenteren zonder dat ze maandenlang moeten programmeren.

2. Experiment 1: De "Vaste" Motor

In hun eerste experiment vroegen ze zich af: "Moeten we de hele robot elke keer opnieuw leren, of kunnen we alvast een deel van de kennis vastzetten?"

Stel je voor dat je een student wilt opleiden tot fotograaf.

• De oude manier: Je laat de student alles opnieuw leren, van hoe een camera werkt tot hoe je een foto beoordeelt. Dit kost veel tijd en energie (rekenkracht).
• De nieuwe manier (Frozen Modules): Je zegt tegen de student: "Je bent al een expert in het vasthouden van de camera (het beeldgedeelte). Dat hoef je niet meer te leren. Leer alleen nog maar hoe je de foto's beschrijft."

Het verrassende resultaat:
Ze ontdekten dat je de "camera-gedeelte" van de robot kunt bevriezen (vastzetten) tijdens het trainen. Je hoeft die kennis niet opnieuw te leren.

• Voordeel: Het kost enorm veel minder energie (rekenkracht).
• Nadeel: Er is bijna geen verlies in prestatie. Soms werkt het zelfs nog iets beter!
• Conclusie: Als je een beperkt budget hebt, kun je een enorme robot bouwen door alleen de "taal" te laten leren en de "beeld" kennis alvast vast te zetten.

3. Experiment 2: Taal of Beeld? Waar beginnen we?

In hun tweede experiment keken ze naar de basis van de robot. Moet je een robot bouwen die eerst een taal-expert is en dan leert zien? Of moet je beginnen met een beeld-expert die dan leert lezen?

Stel je voor dat je een vertaler wilt maken die ook schilderijen kan analyseren.

• Optie A: Begin met een vertaler (taalmodel) en leer hem schilderen.
• Optie B: Begin met een kunstkriticus (beeldmodel) en leer hem vertalen.
• Optie C: Begin met een leeg vel papier (willekeurige gewichten) en leer hem alles vanaf nul.

Het verrassende resultaat:
Je zou denken dat het slimst is om te beginnen met een expert (Optie A of B). Maar de resultaten toonden aan dat Optie C (beginnen met een leeg vel papier) de beste prestaties leverde!
De robot die van nul begon, leerde zijn eigen unieke manier om taal en beelden te combineren, zonder de "oude gewoontes" van de taal- of beeldexperts die hem misschien in de weg zaten.

• Conclusie: Voor deze specifieke, compacte robots is het beter om ze helemaal van scratch te bouwen dan om ze te baseren op bestaande experts.

Waarom is dit belangrijk?

Deze bevindingen zijn als een recept voor een goedkope, snelle en slimme maaltijd.

1. Bespaar energie: Je kunt enorme rekenkracht besparen door bepaalde onderdelen niet opnieuw te trainen.
2. Betere resultaten: Soms is het beter om iets helemaal opnieuw te bouwen dan om te hopen dat een bestaand model past.
3. Toegang voor iedereen: Met het nieuwe gereedschap (Renaissance) en deze slimme trucs, kunnen ook onderzoekers met minder geld en minder krachtige computers meedoen aan de revolutie van slimme computers.

Kortom: De auteurs hebben laten zien dat je niet altijd de zwaarste, duurste machine nodig hebt om slimme resultaten te krijgen. Soms is het slimmer om je gereedschapskist (Renaissance) te gebruiken en je aanpak een beetje aan te passen.

Technische samenvatting

Probleemstelling

In de afgelopen jaren is er een explosie geweest van modellen voor vision-language (VL) taken. De literatuur is echter overweldigd door generatieve, decoder-gebaseerde modellen (zoals grote multimodale LLM's), terwijl er weinig aandacht is voor encoder-modellen. Encoder-modellen zijn echter cruciaal voor classificatietaken, zijn kleiner en vereisen aanzienlijk minder rekenkracht (compute), wat ze ideaal maakt voor praktische toepassingen en onderzoekers met beperkte middelen.

De huidige uitdagingen zijn:

1. Gebrek aan best practices: Er is onvoldoende systematisch onderzoek gedaan naar de optimale pretrainingstrategieën voor VL-encoders (bijv. welke architectuur, hoe te initialiseren, welke modules te bevriezen).
2. Beperkte tooling: Er zijn weinig programmeertools beschikbaar die het onderzoek naar VL-modellen vergemakkelijken. Bestaande frameworks zoals Hugging Face of LAVIS ondersteunen vaak niet flexibel genoeg de aanpassingen die onderzoek vereist, en er zijn weinig openbare opties voor het creëren en evalueren van diverse VL-architecturen.

Methodologie

Om deze problemen aan te pakken, stellen de auteurs een nieuw framework voor genaamd Renaissance en voeren ze twee reeksen experimenten uit.

1. Het Renaissance Framework

Renaissance is een flexibel softwareframework ontworpen voor het creëren, trainen en evalueren van vision-language transformer-encoders.

• Architectuurondersteuning: Het ondersteunt zowel One-Tower modellen (waarbij tekst en beeld in één transformer-stack worden verwerkt, vergelijkbaar met BERT/ViT) als Two-Tower modellen (waarbij aparte tekst- en beeld-encoders worden gebruikt met kruismodale lagen voor fusie).
• Flexibiliteit: Gebruikers kunnen via configuratiebestanden eenvoudig pretrained encoders (tekst of beeld) van de Hugging Face Hub selecteren, modeldimensies handmatig aanpassen, en modules bevriezen tijdens training.
• Taken: Het framework ondersteunt pretrainingstaken (Masked Language Modeling en Image-Text Matching) en downstream evaluatietaken zoals NLVR2, SNLI-VE, RefCOCO, multimodale retrieval en VQA.
• Datasets: Ondersteuning voor pretraining op Visual Genome, MSCOCO, Conceptual Captions en SBU Captions.

2. Experiment 1: Bevriezen van Encoder-modules

• Doel: Onderzoeken of het bevriezen van de vooraf getrainde tekst- of beeldmodules tijdens de pretraining de rekenkosten kan verlagen zonder de downstream prestaties significant te schaden.
• Setup: Gebruik van een Two-Tower architectuur met ELECTRA-Small (tekst) en DeiT-Tiny (beeld).
• Variaties:
  1. Geen modules bevroren (baseline).
  2. Alleen tekst-encoder bevroren.
  3. Alleen beeld-encoder bevroren.
  4. Beide encoders bevroren (alleen kruismodale lagen worden getraind).
• Training: 100k stappen op MSCOCO en Visual Genome, gevolgd door fine-tuning op SNLI-VE, NLVR2 en RefCOCO.

3. Experiment 2: Tekst-encoder vs. Beeld-encoder (One-Tower)

• Doel: Bepalen of het beter is om een One-Tower VL-model te initialiseren met gewichten van een pretrained tekstmodel (zoals BERT) of een beeldmodel (zoals ViT), of dat willekeurige initialisatie beter werkt.
• Setup: Vergelijking tussen drie One-Tower modellen met bijna identieke parameters (ca. 110M):
  1. Geïnitialiseerd met BERT-weights.
  2. Geïnitialiseerd met ViT-weights.
  3. Willekeurig geïnitieerd (Random).
• Training: 50k stappen op dezelfde datasets als Experiment 1.

Belangrijkste Resultaten

Resultaten Experiment 1 (Bevriezen)

• Rekenkosten: Het bevriezen van modules leidt tot aanzienlijke besparingen in GPU-geheugen en rekentijd tijdens pretraining.
• Prestaties:
  • Het bevriezen van de beeldmodule resulteerde in prestaties die bijna identiek waren aan de baseline, en op de RefCOCO-taak zelfs iets beter.
  • Het bevriezen van beide modules leidde tot een kleine daling in prestaties, maar de kosten-batenverhouding is gunstig voor onderzoekers met beperkte rekenkracht.
  • Conclusie: Het is mogelijk om de pretraining van Two-Tower modellen te versnellen en goedkoper te maken door de beeldencoder te bevriezen, met minimaal verlies aan effectiviteit.

Resultaten Experiment 2 (Initialisatie)

• Verrassende bevinding: Het model dat willekeurig was geïnitieerd (Random) presteerde beter op alle drie de downstream taken (SNLI-VE, NLVR2, RefCOCO) dan de modellen die waren geïnitieerd met pretrained BERT- of ViT-weights.
• Interpretatie: Dit suggereert dat voor One-Tower modellen de specifieke voorafgaande kennis van tekst of beeld minder belangrijk is dan de capaciteit om tijdens de training specifieke VL-kenmerken te leren. De pretrained weights lijken zelfs een beperking te vormen of leiden tot suboptimale convergentie in deze specifieke setting.
• Efficiëntie: Two-Tower modellen (met <40M parameters) presteerden over het algemeen beter dan de One-Tower modellen (>100M parameters) in dit experiment, wat wijst op een betere parameter-efficiëntie van de Two-Tower architectuur.

Belangrijkste Bijdragen

1. Renaissance Framework: Een open-source, flexibel framework dat onderzoekers in staat stelt diverse VL-architecturen (One/Two-Tower) te bouwen, te configureren en te evalueren, wat de toegankelijkheid van VL-onderzoek vergroot.
2. Best Practices voor Pretraining:
   • Voor Two-Tower modellen: Het bevriezen van de beeldencoder tijdens pretraining is een effectieve strategie om rekenkosten te verlagen zonder prestatieverlies.
   • Voor One-Tower modellen: Het is aan te raden om modellen vanaf nul te trainen (random initialization) in plaats van gebruik te maken van pretrained tekst- of beeldweights, aangezien dit tot betere resultaten leidt.
3. Inzicht in Architectuur: De studie benadrukt dat Two-Tower modellen vaak meer parameter-efficiënt zijn dan One-Tower modellen voor bepaalde taken.

Significantie en Impact

Dit paper is significant omdat het een gat in de literatuur opvult door zich te richten op encoder-modellen in plaats van de populaire generatieve modellen. Het biedt praktische richtlijnen voor onderzoekers en ontwikkelaars die beperkte rekenmiddelen hebben:

• Het demonstreert dat het mogelijk is om krachtige VL-modellen te trainen met minder resources door slimme bevriezingstechnieken.
• Het daagt de conventionele wijsheid uit dat pretrained weights altijd nodig zijn voor goede prestaties, en pleit voor training from scratch voor One-Tower encoders.
• Door het openbaar maken van het Renaissance-framework, wordt de drempel verlaagd voor het uitvoeren van reproduceerbaar en flexibel VL-onderzoek.

De auteurs concluderen dat multimodale modellering een snel evoluerend veld is en dat dit werk een basis legt voor toekomstig onderzoek naar de optimale training en architectuur van vision-language systemen.