ESsEN: Training Compact Discriminative Vision-Language Transformers in a Low-Resource Setting

Probleemstelling

Visueel-taalmodellen (Vision-Language of VL-modellen) worden steeds populairder, maar de huidige staat van de kunst kenmerkt zich door modellen met tientallen miljarden parameters. Deze enorme modellen vereisen:

1. Enorme rekenkracht en energie: Dit maakt ze onhaalbaar voor randapparaten (edge devices), onafhankelijke robotplatforms en onderzoekers met beperkte middelen.
2. Enorme datasets: Ze worden getraind op datasets met miljoenen afbeelding-tekstparen (vaak van het internet), wat kostbaar is om te verzamelen, op te slaan en te verwerken.
3. Ontwikkelingsonrealistisch: Kinderen leren taal en visuele concepten met veel minder data en ervaring dan deze modellen nodig lijken te hebben. Er is een gebrek aan onderzoek naar het trainen van lichtgewicht modellen op kleine, ontwikkelingsplausibele datasets.

Bestaande methoden voor compressie, zoals knowledge distillation (leren van een groot 'leraar'-model) of pruning (wegsnijden van gewichten), vereisen vaak dat men eerst toegang heeft tot een groot, vooringestelde model. Dit is voor veel onderzoekers niet wenselijk of haalbaar.

Methodologie

De auteurs introduceren ESsEN (Electra-Small supported by EfficientNet), een compact VL-model dat end-to-end getraind kan worden met beperkte rekenkracht en data. De studie bestaat uit drie opeenvolgende experimenten om de architectuur te optimaliseren:

1. Architectuurvergelijking (One-Tower vs. Two-Tower):

   • De auteurs vergeleken één-toren encoders (waarbij beeld en tekst samen worden verwerkt, vergelijkbaar met BERT) met twee-toren encoders (gescheiden visuele en tekstuele encoders die via cross-attention worden gefuseerd).
   • Resultaat: In een low-resource setting presteerden twee-toren modellen significant beter dan één-toren modellen op discriminatieve taken.

2. Backbone Architectuur Zoektocht:

   • Er werd gezocht naar de meest efficiënte combinatie van taal- en visuele 'backbones'.
   • Taal: Verschillende compacte modellen (ELECTRA-Tiny, ELECTRA-Small, MobileBERT) werden getest.
   • Visie: Er werden zowel traditionele Vision Transformers (DeIT-Tiny, DeIT-Small) als alternatieve architecturen getest, waaronder CNN's (ResNet-50, EfficientNet-b2) en hiërarchische transformers (Swin-Tiny).
   • Innovatie: Het paper introduceert het gebruik van een CNN (EfficientNet-b2) als visuele encoder in een twee-toren transformer-architectuur, wat een nieuw en parameter-efficiënter pad bleek te zijn.

3. Fusie-Layer Configuratie:

   • De auteurs varieerden de afmetingen van de cross-modal fusie-module (het aantal lagen en de hidden size van de Multi-Head Attention en Feed-Forward Netwerken).
   • Vinding: De prestaties waren opvallend robuust; een breed scala aan configuraties van de fusie-module leverde vergelijkbare resultaten op, zolang de backbone-architectuur sterk was.

Trainingsdata:
In plaats van enorme datasets, gebruikten de auteurs uitsluitend MSCOCO en Visual Genome. Dit resulteerde in een dataset van ongeveer 6 miljoen afbeelding-tekstparen, maar slechts 180.000 unieke afbeeldingen (totaal <30GB). Dit sluit aan bij de beperkte data die kinderen in hun vroege ontwikkeling ervaren.

Belangrijkste Bijdragen

1. Superioriteit van Two-Tower Encoders: Het bewijs dat twee-toren architecturen superieur zijn aan één-toren encoders voor compacte, discriminatieve VL-taken in low-resource settings.
2. CNN's in Transformer-architecturen: Het aantonen dat het integreren van traditionele convolutionele netwerken (zoals EfficientNet) in een twee-toren transformer-architectuur leidt tot parameter-efficiëntere modellen dan het gebruik van puur transformer-based visuele encoders.
3. Robuustheid van Fusie-Modules: De ontdekking dat de vorm en grootte van de cross-modal fusie-module aanzienlijk kunnen variëren zonder de eindresultaten te beïnvloeden, wat flexibiliteit biedt bij het ontwerpen van compacte modellen.
4. ESsEN Model: De presentatie van een volledig trainbaar, compact model (39,2 miljoen parameters) dat presteert op niveau met grotere modellen, maar met een fractie van de parameters en trainingskosten.

Resultaten

Het ESsEN-model werd getraind op twee NVIDIA L40 GPU's en getest op drie downstream taken:

• SNLI-VE (Visual Entailment)
• NLVR2 (Natural Language Visual Reasoning)
• RefCOCO (Referentiële Resolutie)

Kernbevindingen:

• Prestaties: ESsEN behaalde een gemiddelde score van 0,730.
  • Het presteerde vergelijkbaar met MiniVLM (52M parameters, getraind op veel grotere datasets) op NLVR2 (0,711 vs 0,737).
  • Het presteerde vergelijkbaar met PixelBERT (110M parameters, getraind op dezelfde dataset) ondanks dat ESsEN slechts een fractie van de grootte heeft.
  • Het versloeg de "Words as Classifiers" (WAC) baseline op RefCOCO (0,727 vs 0,700).
• Efficiëntie: Het model heeft slechts 39,2 miljoen parameters (in totaal voor tekst en visie), wat aanzienlijk minder is dan de concurrenten.
• Training: Het model kon end-to-end worden getraind met een zeer beperkt rekenbudget en een kleine dataset.

Betekenis en Conclusie

De studie toont aan dat het niet nodig is om te vertrouwen op enorme, dure modellen en datasets om effectieve visueel-taalmodellen te bouwen.

• Toegankelijkheid: Door modellen zoals ESsEN en tools zoals het Renaissance-harness, wordt VL-onderzoek toegankelijker voor onderzoekers met beperkte middelen.
• Duurzaamheid: Compacte modellen die op kleinere datasets kunnen worden getraind, verlagen de CO2-voetafdruk van AI-onderzoek aanzienlijk.
• Toekomstperspectief: Hoewel de studie zich beperkte tot discriminatieve taken, legt het de basis voor het ontwikkelen van generatieve modellen die even efficiënt en data-spaarzaam zijn. De auteurs benadrukken dat de huidige focus op enorme generatieve modellen mogelijk een weg is die niet de enige of meest efficiënte route is, vooral voor toepassingen op randapparaten en in robotica.

Kortom, ESsEN bewijst dat "klein en slim" kan werken door de juiste architecturale keuzes (two-tower + CNN backbone) en een focus op kwalitatieve, ontwikkelingsplausibele data.