Stel je voor dat je de ultieme bibliotheek voor het hele internet bouwt. Op dit moment moet je, als je een liedje wilt vinden, een muziekbibliothecaris vragen; als je een foto wilt, vraag je een fotobibliothecaris; en als je een video wilt, vraag je een videobibliothecaris. Ze spreken allemaal verschillende talen en bewaren hun boeken in aparte kamers. Dit maakt het zoeken naar iets dat deze dingen mengt — zoals "een video van een hond die blaft naar een volle maan" — ongelooflijk moeilijk.

Om dit op te lossen, gebruiken wetenschappers zoiets als "embeddings". Denk aan een embedding als een unieke ID-kaart of een set GPS-coördinaten voor een stukje data. In een perfecte wereld zouden de GPS-coördinaten van een foto van een hond en de zin "een hond" exact hetzelfde zijn, ook al is het één een plaatje en de ander tekst. Dit stelt een computer in staat om te begrijpen dat ze hetzelfde zijn. De grote uitdaging op dit moment is dat we wel geweldige GPS-systemen hebben voor tekst, afbeeldingen en video, maar dat we heel slecht zijn in het in kaart brengen van geluid. De meeste systemen die geluid begrijpen, zijn als specialisten die alleen "lawaai" spreken en totaal niet met de tekst- of afbeeldingbibliothecarissen kunnen praten.

Dit artikel introduceert een nieuwe familie van tools genaamd Fusion Embedding, die tekst, afbeeldingen, video en audio eindelijk in dezelfde enkele kaart plaatst. De onderzoekers hebben niet geprobeerd de hele bibliotheek vanaf nul opnieuw op te bouwen. In plaats daarvan namen ze een zeer krachtige, vooraf gebouwde bibliotheek die al wist hoe ze met tekst, afbeeldingen en video om moesten gaan, en bedachten ze een slimme manier om een "geluidsafdeling" toe te voegen zonder iets te breken dat al werkte.

De Magie van de "Bevroren" Bibliotheek

Het geheime ingrediënt hier is dat de onderzoekers de hoofdbibliotheek "bevroren" hielden. Stel je voor dat de hoofdbibliotheek een gigantische, perfecte encyclopedie is, geschreven door een meesterkopiist. Normaal gesproken, als je een nieuw gedeelte wilt toevoegen (zoals geluid), moet je delen van de encyclopedie herschrijven, wat het risico met zich meebrengt dat de betekenis van de oude woorden verandert.

De auteurs besloten: "Herschrijven niet toegestaan." Ze hielden de encyclopedie precies zoals die was, tot aan de laatste letter. In plaats daarvan bouwden ze een kleine, speciale vertaalcabine direct bij de ingang.

Generatie 1 is deze eerste vertaler. Het is een kleine, 16,4 miljoen parameters tellende connector (denk aan een kleine, efficiënte robot) die tussen de audiotoren (het deel dat geluid hoort) en de bevroren encyclopedie zit. Wanneer je er een geluid in voert, vertaalt de robot het lawaai naar een formaat dat de encyclopedie begrijpt. Het verandert de encyclopedie niet; het spreekt alleen de taal ervan. Verrassend genoeg werkte deze eenvoudige opstelling ongelooflijk goed. Het kon een geluid koppelen aan een tekstuele beschrijving, en zelfs nog beter: het kon een geluid koppelen aan een afbeelding die het nog nooit eerder had gezien, en dat alles zonder dat het ooit een enkele afbeelding van een geluid had gezien. Het is alsof je een persoon die alleen Frans spreekt leert een nieuwe taal te begrijpen door hem simpelweg een woordenboek te laten zien, zonder hem ooit de grammatica regels van de nieuwe taal te leren.

Generatie 2 vroeg zich af: "Kunnen we het nog beter doen zonder de 'geen herschrijf'-regel te breken?" Ze realiseerden zich dat hoewel de vertaalcabine goed was, de encyclopedie zelf over wat ongebruikte hersencapaciteit beschikte die met geluid kon helpen. Daarom voegden ze "modality-gated deep adapters" toe.

Denk aan deze als geheime, onzichtbare deuren binnen de pagina's van de encyclopedie. Deze deuren gaan alleen open wanneer er een geluid wordt verwerkt. Wanneer er tekst of een afbeelding binnenkomt, blijven de deuren gesloten en wordt het boek gelezen zoals het altijd was. Wanneer er een geluid binnenkomt, gaan de deuren open en springt er een speciale hulpmodule van 44,2 miljoen parameters bij om het boek te helpen het geluid beter te begrijpen. Het resultaat? De output van het boek voor tekst en afbeeldingen blijft bit-voor-bit identiek aan de originele bevroren versie. Als je dezelfde tekst door het systeem zou halen vóór en na het toevoegen van de geluidsfunctie, zou de computer geen enkel verschil zien. Dit garandeert dat elke zoekopdracht die je ooit hebt opgeslagen voor tekst, afbeeldingen of video perfect geldig blijft.

Wat ze vonden (en wat ze niet vonden)

Het team testte dit systeem op enorme datasets van geluiden en bijschriften. Ze ontdekten dat door vast te houden aan hun "frozen base"-regel, ze state-of-the-art resultaten konden behalen voor audio-naar-tekst matching, waarbij ze een score van 0,741 bereikten op een standaardtest genaamd AudioCaps. Dit is een grote zaak, omdat de meeste andere systemen die dit goed doen, hun hele brein moeten hertrainen, wat betekent dat ze vaak vergeten hoe ze andere dingen moeten doen of hun oude resultaten verpesten.

De paper vertelt ons echter ook wat niet werkt. De onderzoekers probeerden een paar dingen die logischerwijs zouden moeten helpen, maar die maakten de boel juist slechter:

• Het bijschriften herschrijven: Ze probeerden een superintelligente AI te gebruiken om de trainingsbeschrijvingen te herschrijven om ze "netter" te maken. Verrassend genoeg maakte dit het systeem juist slechter. Het blijkt dat het systeem beter leerde van de originele, rommelige menselijke beschrijvingen dan van de gepolijste AI-versies.
• Een "sterkere" geluidstoren gebruiken: Ze probeerden hun geluid-encoder te vervangen door een die meestal als de beste ter wereld wordt beschouwd. Maar toen deze in hun bevroren systeem werd geplaatst, presteerde deze "sterkere" toren eigenlijk slechter dan de gekozen toren. Dit suggereert dat wat een goede geluid-encoder maakt voor een op zichzelf staand systeem, niet noodzakelijkerwijs is wat een goede geluid-encoder maakt voor een bevroren-bibliotheek systeem.
• De connector te breed maken: Ze probeerden de vertaalrobot groter en breder te maken. In plaats van slimmer te worden, begon hij de trainingsdata simpelweg uit het hoofd te leren en faalde hij in het generaliseren.

De verrassing van het "Protocol"

Een van de meest interessante ontdekkingen ging niet over het model zelf, maar over hoe ze ermee communiceerden. De onderzoekers ontdekten dat de manier waarop je tekst in het systeem voert, belangrijker is dan je zou denken. Als je de tekst in een "naakte" vorm in het systeem voert (alleen de woorden), presteert het slecht. Maar als je de tekst in exact het "chat template"-formaat voert waarvoor de originele encyclopedie is getraind (met specifieke instructies en opmaak), stijgt de prestatie met een enorme 14,5 punten.

Het is alsof je een vraag stelt aan een bibliothecaris. Als je alleen "Hond!" roept, begrijpen ze het misschien niet. Maar als je zegt: "Hallo bibliothecaris, ik ben op zoek naar een afbeelding van een hond," in exact het beleefde formaat waarin ze zijn onderwezen, vinden ze het direct. De paper laat zien dat als je het originele trainingsformaat niet respecteert, je dubbele cijfers aan prestatiepunten kunt verliezen, waardoor je systeem effectief veel dommer wordt.

De essentie

De Fusion Embedding-familie bewijst dat je niet het hele huis hoeft te verbouwen om een nieuwe kamer toe te voegen. Door een bevroren basis te gebruiken en slimme, gated connectoren toe te voegen, hebben ze een verenigde ruimte gecreëerd waar tekst, afbeeldingen, video en audio samenleven.

• Generatie 1 liet zien dat een kleine connector genoeg is om audio een "eerste-klas burger" te maken in de bibliotheek.
• Generatie 2 liet zien dat je nog meer hersencapaciteit voor audio kunt toevoegen zonder ooit een enkel bit van de tekst- of afbeeldingresultaten te veranderen.

Het resultaat is een systeem dat een geluid kan nemen en de bijbehorende video kan vinden, of een video kan nemen en het bijbehorende geluid kan vinden, terwijl de originele tekst- en afbeeldingzoekresultaten perfect intact blijven. Het is een stap naar een toekomst waarin je je computer kunt vragen: "Laat me video's van regen zien," en hij begrijpt dat "regen" een geluid is, een visueel beeld en een woord, allemaal tegelijkertijd, zonder dat je voor elk ding een andere app nodig hebt.