Do Visual Grounding Decoders Need Feed-Forward Networks? A Controlled Study over Frozen Vision-Language Features

Stel je een computer voor die naar een foto kan kijken en een zin kan begrijpen die een specifiek deel van die afbeelding beschrijft, zoals "de hond die op de rode stoel zit." Dit vermogen, bekend als visuele gronding (visual grounding), berust op een complex intern systeem dat werkt als een vertaler die woorden koppelt aan pixels. Jarenlang bestond het standaardontwerp voor deze vertaler uit twee verschillende soorten verwerkingsstappen. De eerste stap, genaamd aandacht (attention), stelt het systeem in staat om de afbeelding en de zin tegelijkertijd te scannen, waarbij wordt beslist welke delen van de foto relevant zijn voor de gelezen woorden. De tweede stap, bekend als een feed-forward netwerk, fungeert als een lokale rekenmachine die elk stukje informatie afzonderlijk verwerkt en een niet-lineaire transformatie toepast om de details te verfijnen voordat ze worden doorgegeven.

De vraag die onderzoekers hebben gesteld, is of beide stappen werkelijk noodzakelijk zijn wanneer de computer al een massief, vooraf getraind brein gebruikt om het zware werk te doen. In moderne systemen zet een groot vooraf getraind model eerst de afbeelding en de tekst om in een rijke, gecontextualiseerde representatie. Een kleinere, trainbare decoder zit vervolgens bovenop deze basis om de exacte locatie aan te wijzen. Omdat het zware werk van het begrijpen van de wereld al door het grote model is gedaan, is het onduidelijk of de kleinere decoder nog steeds zijn eigen lokale rekenmachines nodig heeft, of dat het scansmechanisme alleen voldoende is om het doelwit te vinden. Deze onzekerheid is van belang omdat het verwijderen van onnodige onderdelen deze systemen sneller en kleiner kan maken, wat cruciaal is voor het draaien van ze op alledaagse apparaten.

Een onderzoeker zette zich in om dit te beantwoorden door een gecontroleerd experiment uit te voeren waarbij de lokale rekenmachines uit de decoder werden verwijderd, terwijl de rest exact hetzelfde bleef. De onderzoeker bouwde drie versies van een decoder om dit idee te testen. De eerste versie bevatte vier blokken van het scansmechanisme maar geen lokale rekenmachines. De tweede versie was identiek in grootte en structuur, maar bevatte de lokale rekenmachines in elk blok. De derde versie was een controlegroep die het aantal scanningblokken verdubbelde om overeen te komen met het totale aantal instelbare parameters in de tweede versie, om er zeker van te zijn dat elk verschil in prestatie te wijten was aan het type verwerking en niet aan de hoeveelheid beschikbare rekenkracht. Deze versies werden getest op verschillende datasets, variërend van standaard beeldbeschrijvingen tot moeilijkere, lastige zinnen die het systeem proberen te verwarren.

De resultaten schetsen een genuanceerd beeld in plaats van een simpel ja of nee. Bij standaard, eenvoudige beschrijvingen presteerde de versie zonder de lokale rekenmachines net zo goed als, en in sommige gevallen zelfs iets beter dan, de versie met de rekenmachines. Dit suggereert dat voor veel veelvoorkomende taken het scansmechanisme alleen voldoende is om de juiste informatie uit de vooraf getrainde basis te halen. Echter, wanneer de onderzoeker het systeem testte op een dataset die specifelijk was ontworonden om complex compositorisch redeneren te meten, vertoonde de versie zonder de rekenmachines een kleine maar meetbare daling in nauwkeurigheid. Het miste het doel iets vaker dan de versie met de rekenmachines. Dit gaf aan dat de lokale rekenmachines wel degelijk een voordeel bieden wanneer de taak vereist dat meerdere stukjes informatie op een specifieke manier worden samengevoegd.

Cruciaal was dat de onderzoeker ontdekte dat dit nadeel niet permanent was. Wanneer de versie zonder rekenmachines meer scanningblokken kreeg om de ontbrekende delen te compenseren, herstelde het de verloren nauwkeurigheid en kwam het qua prestaties overeen met de versie met de rekenmachines. Deze ontdekking verschuift het begrip van wat het systeem nodig heeft: het is niet dat de lokale rekenmachines uniek essentieel zijn, maar eerder dat het systeem een bepaalde hoeveelheid capaciteit nodig heeft om het werk te doen. Als de rekenmachines worden verwijderd, kan die capaciteit worden vervangen door het toevoegen van meer lagen van het scansmechanisme. De studie toonde ook aan dat het verwijderen van de rekenmachines het aantal instelbare parameters in de decoder met bijna de helft verminderde en de decoding-stap iets sneller maakte, hoewel de algehele snelheid van het systeem nog steeds werd gedomineerd door het grote vooraf getrainde model aan het begin.

De onderzoeker testte ook of het systeem vaker zou falen bij moeilijke zinnen, zoals die met ontkenningen of veel afleidende objecten, in de verwachting dat het gebrek aan rekenmachines zou leiden tot een gestage daling van de prestaties. In plaats daarvan werd er geen dergelijk patroon gevonden. Het systeem stortte niet op een voorspelbare manier in onder druk, en de moeilijkheidsgraad van de zin was niet consistent voorspellend voor of de rekenmachines nodig waren. Dit suggereert dat de behoefte aan deze componenten niet gekoppeld is aan een simpele regel van "moeilijkere taak betekent meer rekenmachines."

Uiteindelijk concludeert de studie dat voor een visueel grondingssysteem dat bovenop een vooraf getraind model is gebouwd, de lokale rekenmachines niet universeel vereist zijn. Ze kunnen worden verwijderd zonder de prestaties bij standaardtaken te schaden, en hun specifieke bijdrage kan worden gecompenseerd door de diepte van het scansmechanisme te vergroten als de taak daarom vraat. De bevindingen suggereren dat de architectuur van deze systemen kan worden vereenvoudigd en efficiënter kan worden gemaakt, mits de totale hoeveelheid rekenkracht via andere wegen behouden blijft. Dit biedt een duidelijk pad voor het ontwerpen van kleinere, efficiëntere modellen die nog steeds accuraat objecten in afbeeldingen kunnen lokaliseren op basis van taal, zonder te vertrouwen op elk onderdeel van het traditionele ontwerp.