Visual Instruction Pretraining for Domain-Specific Foundation Models

Dit artikel introduceert Visual Instruction Pretraining (ViTP), een nieuwe methode die redenering gebruikt om waarneming te verbeteren door een Vision Transformer end-to-end voor te trainen op visuele instructies, wat leidt tot state-of-the-art resultaten op diverse benchmarks voor remote sensing en medische beeldvorming.

De kern

Hoe computers beter 'kijken' leren: Een verhaal over ViTP

Stel je voor dat je een pasgeboren baby bent. Je ogen (je waarneming) zien eerst alleen vage vlekken, lijntjes en kleuren. Dat is wat computers nu ook doen: ze kijken naar pixels en proberen patronen te herkennen. Dit noemen we "bottom-up" leren: van klein naar groot.

Maar hoe mensen echt zien, is anders. We hebben ook een verstand (onze "top-down" kennis). Als je ziet dat er iets op een dak ligt, denkt je brein direct: "Oh, dat is een vogel!" en helpt dat gedachte om je ogen scherper te focussen op de details van de vogel, in plaats van op het dak.

Deze paper introduceert een nieuwe manier om computers die slimme combinatie te leren. Ze noemen het ViTP (Visual Instruction Pretraining).

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het probleem: De computer is een "dwaas" die alleen naar de grond kijkt

Tot nu toe leerden we computers vooral door ze miljarden foto's te laten zien en te zeggen: "Kijk naar dit lijntje" of "Kijk naar deze rand". Ze werden heel goed in het zien van details, maar ze misten de context.

• Vergelijking: Het is alsof je een student leert een auto te repareren door alleen de schroeven te laten tellen, maar je vertelt niets over hoe de motor werkt. De student ziet de schroeven wel, maar begrijpt niet waarom ze daar zitten.

2. De oplossing: ViTP (De slimme leraar)

De auteurs van dit papier zeggen: "Laten we de computer niet alleen laten kijken, maar laten we hem vragen stellen."

Ze gebruiken een slimme taalcomputer (een LLM, zoals een super-Chatbot) als leraar.

• Het proces: De computer krijgt een foto (bijvoorbeeld van een satelliet) en de leraar vraagt: "Waar zit de rode vliegtuig en welke auto staat naast het grootste vliegtuig?"
• De truc: De computer moet niet alleen het antwoord geven, maar hij moet zijn "ogen" (de visuele laag) zo aanpassen dat hij precies die details ziet die nodig zijn om de vraag te beantwoorden.
• Het resultaat: De computer leert niet alleen "dit is een lijn", maar "deze lijn is belangrijk omdat het de vleugel van een vliegtuig is". Het verstand stuurt de ogen aan.

3. De "Oefening": Visual Robustness Learning (VRL)

Om de computer nog slimmer te maken, doen de auteurs iets grappigs tijdens het oefenen. Ze laten de computer soms een groot deel van de foto weglaten (alsof je een foto voor 75% afdekt met je hand).

• De metafoor: Stel je voor dat je een puzzel moet maken, maar je mag alleen 25% van de stukjes zien. Je moet dan je hersenen gebruiken om de rest in te vullen.
• Het effect: Omdat de computer zo weinig informatie krijgt, moet hij elke stukje dat hij wel ziet, extreem goed begrijpen. Hij leert dan niet alleen oppervlakkig kijken, maar leert de essentie van het beeld te snappen, zelfs als er ruis of mist in de foto zit.

4. Waarom is dit zo geweldig? (De resultaten)

De auteurs hebben dit getest op twee heel moeilijke gebieden:

1. Ruimtevaart (Satellietbeelden): Het vinden van schepen in de oceaan of gebouwen in een stad, vaak door wolken of in het donker.
2. Geneeskunde (Medische scans): Het vinden van tumoren of organen in röntgenfoto's.

De uitkomst:

• De computer werd beter dan alle vorige records (State-of-the-Art).
• Het was veel sneller en goedkoper om te trainen dan andere methodes. Terwijl andere methodes dagen nodig hadden op dure computers, deed ViTP het in één dag.
• De computer werd robuuster: Hij maakte minder fouten als de foto's wazig waren of slecht van kwaliteit.

Samenvattend

Stel je voor dat je een detective opleidt.

• Oude methode: Je laat de detective miljarden foto's van moordplekken zien en zegt: "Kijk naar de vlekken."
• ViTP-methode: Je geeft de detective een foto en vraagt: "Wie is de dader en waar zat hij?" De detective moet dan zijn ogen gebruiken om precies die details te vinden die het antwoord verklaren.

Dit papier laat zien dat als we computers vragen om te denken over wat ze zien, ze veel beter leren kijken. Het is een stap in de richting van computers die echt begrijpen wat er op een foto gebeurt, net zoals wij dat doen.

Technische samenvatting

Titel: Visual Instruction Pretraining for Domain-Specific Foundation Models (ViTP)

Auteurs: Yuxuan Li, Yicheng Zhang, Wenhao Tang, Ming-Ming Cheng, Yimian Dai, Xiang Li, Jian Yang.

---

1. Het Probleem

Huidige computerzichtsmodellen (zoals Vision Transformers of ViT) volgen overwegend een bottom-up paradigma. Ze leren laag-niveau perceptie (randen, texturen) eerst en bouwen daarop complexe objectrepresentaties op. Hoewel dit effectief is, wordt de top-down invloed van hoog-niveau begrip (kennis, context, verwachtingen) op de basisperceptie onderbenut.

In gespecialiseerde domeinen zoals remote sensing (satellietbeelden) en medische beeldvorming lopen bestaande pretrainingsmethodes vast:

• Supervised learning: Risico op overfitting op smalle labelverdelingen.
• Masked Image Modeling (MIM): Negeert vaak fijne details van kleine, kritieke objecten.
• Contrastive learning: Moeilijk te optimaliseren en computatie-intensief.
• Bestaande VLM's (Vision-Language Models): Deze richten zich vaak op het aligneren van globale beeld-tekst representaties, wat suboptimaal is voor dichte voorspellingsopgaven zoals segmentatie of detectie van specifieke objecten.

Er is een behoefte aan een methode die hoog-niveau semantisch begrip direct gebruikt om de laag-niveau perceptie van een ViT te sturen, specifiek voor domein-specifieke taken.

---

2. Methodologie: ViTP

De auteurs introduceren Visual insTruction Pretraining (ViTP), een nieuw pretrainingsparadigma dat de richting van traditionele visuele instructie-tuning omkeert. In plaats van een taalmodel aan te passen aan beelden, gebruiken ze een taalmodel om de visuele backbone te trainen.

Kerncomponenten:

1. Architectuur:

   • Een Vision Transformer (ViT) wordt ingebed binnen een groter Vision-Language Model (VLM).
   • De ViT verwerkt het beeld en projecteert de tokens naar de embedding-ruimte van een Large Language Model (LLM).
   • De LLM ontvangt zowel de beeldtokens als een tekstuele instructie (vraag) en genereert een antwoord.
   • Het hele systeem wordt end-to-end getraind. De supervisie komt van de LLM's respons, waardoor de ViT gedwongen wordt features te leren die essentieel zijn om de instructie correct te beantwoorden.

2. Visual Robustness Learning (VRL):

   • Om te voorkomen dat de ViT afhankelijk wordt van specifieke tokens en om robuustheid te vergroten, wordt tijdens het pretrainen een groot deel van de beeldtokens willekeurig gedropt (bijv. 75%) voordat ze naar de LLM worden gestuurd.
   • Dit dwingt de ViT om in de resterende tokens meer uitgebreide en robuuste semantische informatie te coderen. Het fungeert als een regularisatiemethode en verlaagt ook de rekenkosten.

3. Data-voorbereiding ("Data Recipe"):

   • Het pretrainingsdataset wordt zorgvuldig samengesteld uit domein-specifieke instructie-data (bijv. remote sensing of medisch) gecombineerd met een kleine hoeveelheid algemeen domein-data om overfitting te voorkomen.
   • De instructies zijn gericht op taken die nodig zijn voor de downstream-taken (bijv. objectlocatie, attributen, veranderingen detecteren).

4. Continu Pretrainen:

   • Het model start met een goed getraind, algemeen VLM (zoals InternVL) en wordt verder getraind op de domein-specifieke instructiedata.

---

3. Belangrijkste Bijdragen

• ViTP Paradigma: Het introduceert het eerste "top-down" pretrainingsparadigma dat hoog-niveau semantisch begrip (via instructies) gebruikt om de perceptie van een ViT-backbone te verrijken.
• Visual Robustness Learning (VRL): Een nieuwe regularisatiemethode die de ViT dwingt om robuuste features te leren door te werken met een schaarse set van visuele tokens.
• State-of-the-Art (SOTA) Prestaties: Het paper demonstreert dat ViTP nieuwe SOTA-resultaten bereikt op 16 uitdagende benchmarks in remote sensing en medische beeldvorming.
• Efficiëntie: Het pretrainingsproces is uitzonderlijk snel en kostbaar, vereist slechts één dag op 8 A40 GPU's, wat aanzienlijk minder is dan concurrerende methodes.

---

4. Resultaten

De auteurs hebben ViTP getest op diverse downstream-taken, waaronder objectdetectie, semantische segmentatie, en change detection.

• Remote Sensing:
  • Objectdetectie: SOTA op DIOR, DIOR-R, DOTA-v2.0 (optisch) en SARDet-100K, RSAR (SAR/beeldradar). Bijvoorbeeld, op de moeilijke DOTA-v2.0 dataset behaalde ViTP 60.23 mAP, wat beter is dan eerdere leiders zoals BillionFM.
  • Segmentatie: Nieuwe SOTA op iSAID, LoveDA, UAVid en SSDD.
  • Change Detection: SOTA op SVCD, WHU, LEVIR-CD en S2Looking datasets.
• Medische Beeldvorming:
  • SOTA resultaten op AMOS2022 (CT), BraTS2021 (MRI) en CovidQUEx (X-ray) voor semantische segmentatie. ViTP presteerde beter dan gespecialiseerde modellen zoals nnU-Net en SAM-gebaseerde benaderingen.
• Efficiëntie en Robuustheid:
  • ViTP is 17x sneller dan de high-performance methode SkySense en 2,6x sneller dan Scale-MAE, terwijl het betere resultaten levert.
  • Het model toont superieure robustheid tegen beeldcorrupties (zoals wolken, ruis, wazigheid) vergeleken met MIM- en contrastieve methodes.
  • Het is zeer data-efficiënt: zelfs met slechts 2% van de trainingsdata presteert ViTP aanzienlijk beter dan concurrenten.

---

5. Betekenis en Conclusie

Dit paper opent een nieuwe richting in de ontwikkeling van foundation modellen voor computerzichten. Het bewijst dat top-down begrijpen (via taal en instructies) de bottom-up perceptie fundamenteel kan verbeteren, vooral in gespecialiseerde domeinen waar data schaars of complex is.

De belangrijkste implicaties zijn:

1. Domein-adaptatie: Het biedt een schaalbare manier om krachtige foundation modellen te bouwen voor specifieke domeinen (zoals geneeskunde of aardobservatie) zonder de enorme rekenkosten van traditionele pretrainingsmethodes.
2. Kwaliteit van Features: De features die door ViTP worden geleerd, zijn semantisch rijker en robuuster, wat leidt tot betere prestaties in complexe taken zoals het lokaliseren van kleine objecten of het segmenteren van medische structuren.
3. Toekomstperspectief: De methode suggereert dat de integratie van taalgestuurde instructies de sleutel is tot het overbruggen van de kloof tussen algemene visuele modellen en gespecialiseerde, hoog-presterende systemen.

De code is beschikbaar op GitHub: https://github.com/zcablii/ViTP.