💬 NLP

Efficient and High-Fidelity Omni Modality Retrieval

Dit paper introduceert OmniRet, het eerste ommimodale zoekmodel dat tekst, beeld en audio combineert voor complexe zoekopdrachten, en dat door middel van efficiënte resampling en geavanceerde pooling-technieken zowel rekenkracht optimaliseert als de precisie van de representaties behoudt.

Oorspronkelijke auteurs: Chuong Huynh, Manh Luong, Abhinav Shrivastava

Gepubliceerd 2026-03-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chuong Huynh, Manh Luong, Abhinav Shrivastava

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🎧👁️🗣️ De "Alles-Verstaande" Zoekmachine: Een Uitleg van OmniRet

Stel je voor dat je een zoekmachine hebt die niet alleen tekst begrijpt, maar ook foto's, video's en geluid. Je kunt bijvoorbeeld zeggen: "Ik zoek een video van een hond die blaft, maar dan met een sirene op de achtergrond." Of: "Toon me een plaatje dat past bij dit geluid van een regendruppel."

Vroeger waren zoekmachines als CLIP of BLIP slim, maar ze hadden een beperking: ze konden alleen twee dingen tegelijk begrijpen (meestal tekst en een foto). Ze waren als een tolk die alleen Nederlands en Engels spreekt, maar geen Spaans of Japans. Als je een complexe vraag stelde die drie dingen combineerde (tekst + foto + geluid), raakten ze de draad kwijt.

OmniRet is de nieuwe held die dit probleem oplost. Het is de eerste zoekmachine die echt "omni-modaal" is: hij verstaat tekst, beeld én geluid in één brein. Maar hoe doet hij dat zonder vast te lopen? Het paper beschrijft twee slimme trucs.

1. De "Slimme Samenvatter" (Efficiëntie)

Het Probleem:
Stel je voor dat je een hele film of een lang geluidsfragment wilt analyseren. Een computer ziet dit niet als één plaatje, maar als duizenden kleine stukjes (tokens). Als je al die stukjes direct naar een groot brein (een Large Language Model of LLM) stuurt, wordt het een enorme rommelpost. Het is alsof je probeert een heel bibliotheek in één keer naar iemand toe te schreeuwen. Het kost te veel tijd en energie, en de computer raakt oververhit.

De Oplossing: De Shared Media Resampler
OmniRet gebruikt een slimme tussenpersoon, de Resampler.

De Analogie: Stel je voor dat je een team van 500 verslaggevers hebt die elk een stukje van een gebeurtenis beschrijven. In plaats van dat de directeur (het LLM) met al die 500 mensen moet praten, sturen ze hun verslagen eerst naar een Slimme Samenvatter. Deze samenvatter pakt de belangrijkste punten, vat ze samen tot een handig pakketje van bijvoorbeeld 64 samenvattingen, en geeft dat door aan de directeur.
Het Geniale: Deze samenvatter is "gemeenschappelijk" (shared). Hij werkt voor foto's, video's én geluid. Hij is dus een universele vertaler die weet hoe hij informatie van verschillende bronnen compact en duidelijk maakt, zonder de essentie te verliezen.

2. De "Hoge Resolutie" Zoektocht (Kwaliteit)

Het Probleem:
Als je een heel gedetailleerd verhaal (met duizenden woorden) samenvat tot één korte zin, ga je details verliezen. In de wereld van AI betekent dit dat als je een complexe zoekopdracht doet, de fijne details (zoals de specifieke toon van een geluid of een klein detail in een foto) vaak verdwijnen in een "gemiddelde" samenvatting. Het is alsof je een 4K-foto reduceert tot een wazig postzegeltje.

De Oplossing: Attention Sliced Wasserstein Pooling (ASWP)
OmniRet gebruikt een nieuwe techniek om die details te bewaren.

De Analogie: Stel je voor dat je een grote bak met verschillende soorten snoep (de informatie) hebt. De oude methode was: "Neem een handje en proef het gemiddelde." Dat smaakt saai.
OmniRet doet het anders: Hij gebruikt een slimme schep die de snoepjes in verschillende lagen (slices) verdeelt. Hij vergelijkt elke laag met een setje "ideale referentie-snoepjes" die hij heeft aangeleerd.
- Hij kijkt niet naar het gemiddelde, maar naar hoe de snoepjes zich verdelen.
- Hij pakt alleen de allerbelangrijkste, meest unieke snoepjes uit elke laag en maakt daar een perfecte, rijke samenvatting van.
Het Resultaat: Je krijgt één antwoord, maar dit antwoord bevat de rijkdom en de fijne details van het origineel, alsof je nog steeds naar de hele bak snoep zou kijken.

🎵 De Nieuwe "Audio-Centric" Test (ACM)

Omdat er nog nooit een goede test was om te kijken hoe goed een AI is in het zoeken met geluid, hebben de onderzoekers een nieuwe testbank gemaakt: de ACM Benchmark.

Wat is het? Een verzameling van duizenden geluidsfragmenten (uit de VGG-Sound dataset).
De Nieuwe Oefeningen:
1. Samengesteld Geluid: "Ik hoor een hond die blaft, maar maak er een die huilend is en voeg een sirene toe." (Tekst + Geluid → Geluid).
2. Geluid naar Beeld: "Ik hoor een sirene; toon me een video van een brandweerwagen." (Geluid → Video/Foto).
De Uitkomst: OmniRet slaagt hier uitstekend voor, terwijl andere modellen hier vaak op vastlopen.

🏆 Waarom is dit belangrijk?

De onderzoekers hebben OmniRet getraind op een gigantische verzameling van 6 miljoen voorbeelden. Ze hebben getoond dat hun model:

Snel is: Door de "Samenvatter" werkt het niet te traag, zelfs niet met grote bestanden.
Scherp is: Door de "Hoge Resolutie" techniek mist hij geen details.
Veelzijdig is: Het werkt net zo goed voor tekst, foto's, video's als voor geluid.

Kortom:
OmniRet is als een super-tolk die niet alleen vertaalt, maar ook de nuances, de achtergrondgeluiden en de sfeer van een gesprek perfect begrijpt. Het opent de deur voor zoekmachines die echt begrijpen wat we bedoelen, of we nu een foto, een geluid of een zin gebruiken om te zoeken. Dit is een enorme stap richting een toekomst waar computers onze wereld in al zijn vormen echt "zien" en "horen".

1. Probleemstelling

Multimodale zoekopdrachten (retrieval) evolueren van systemen die slechts twee modaliteiten combineren (zoals tekst en beeld) naar systemen die complexe, samengestelde queries kunnen verwerken die meerdere modaliteiten tegelijk betreffen. Bestaande state-of-the-art modellen (zoals CLIP, BLIP) zijn beperkt tot twee modaliteiten en kampen met twee fundamentele uitdagingen bij het uitbreiden naar een universeel "omni-modale" systeem (tekst, visie, audio):

Berekeningsinefficiëntie: Het invoeren van enorme token-sequenties van gespecialiseerde media-encoders (bijv. >500 tokens voor één afbeelding) in een Large Language Model (LLM) leidt tot een explosie in rekentijd en beperkt de batchgrootte, wat de effectiviteit van contrastief leren ondermijnt.
Representatie-echtheid (Fidelity): Het comprimeren van rijke, omni-modale data in één enkel embedding-vector veroorzaakt onvermijdelijk informatieverlies. Simpele methoden zoals gemiddelde pooling (mean pooling) of het gebruik van een [EOS] token verwerpen fijne details. Aan de andere kant lossen late-interactie modellen (zoals ColBERT) dit op door token-niveau embeddings te behouden, maar zijn ze te duur voor schaalbare systemen.

Daarnaast ontbreekt er een uitgebreid benchmark voor audio-centric taken, wat de ontwikkeling van universele zoeksystemen belemmert.

2. Methodologie: OmniRet

OmniRet is het eerste universele zoekraamwerk dat queries en doelen kan verwerken over drie modaliteiten: tekst, visie en audio. De architectuur lost de bovengenoemde uitdagingen op via twee kerninnovaties:

A. Shared Media Resampler (Efficiëntie)

Om de token-lengte te verminderen zonder informatie te verliezen, introduceert het model een Shared Media Resampler.

Werking: Dit module, gebaseerd op de Perceiver-architectuur, comprimeert lange sequenties van media-tokens (vanaf visuele en audio-encoders) naar een compacte, vaste set van latent vectors.
Modality-Specificiteit: Hoewel de resampler gedeeld wordt over alle modaliteiten voor generalisatie, worden er modality-specifieke "latents" toegevoegd. Hierdoor past het zich aan elk type media aan terwijl het de voordelen van een gedeelde architectuur behoudt.
Diversiteitsverlies: Om ervoor te zorgen dat de geresamplede tokens diverse informatie bevatten, wordt een Diversity Loss ( $L_{div}$ ) toegepast. Deze loss moedigt orthogonaliteit aan tussen de output-vectors, zodat ze maximale informatie behouden.

B. Attention Sliced Wasserstein Pooling (ASWP) (Echtheid)

Om fijne details te behouden zonder de efficiëntie van een single-vector systeem op te geven, wordt een nieuwe pooling-methode voorgesteld: Attention Sliced Wasserstein Pooling (ASWP).

Concept: In plaats van een simpel gemiddelde te nemen, behandelt ASWP de set van LLM-output tokens als een verdeling. Deze verdeling wordt vergeleken met een set van leerbare referentiepunten via "sliced" 1D-projecties (geïnspireerd door PSWE).
Monge Coupling: Voor elke projectie wordt de 1D Monge coupling berekend, wat resulteert in een histogram-achtige descriptor die de verdeling van de tokens vastlegt.
Selectie: Via een "Straight-Through Maximum" (STM) schatter wordt een harde selectie gemaakt van de meest relevante informatie, waardoor een enkel, hoogwaardig embedding wordt gegenereerd dat token-niveau details behoudt.

C. Training en Architectuur

LLM als Composer: Een Large Language Model (GTE-Qwen2-1.5B-Instruct) fungeert als universele "componist" die de geresamplede media-tokens en tekst verwerkt.
Training: Het model wordt getraind op een aggregatie van ongeveer 6 miljoen query-doelparen uit 30 verschillende datasets.
Verliesfuncties: Het totale verlies bestaat uit een combinatie van Hard-negative InfoNCE loss, Triplet loss en de Diversity loss.
Fase-indeling: Training verloopt in twee fasen: een "warm-up" fase op simpele taken en een "fine-tuning" fase op alle complexe, samengestelde taken.

3. Kernbijdragen

OmniRet Framework: Het eerste universele zoekmodel dat tekst, visie en audio in één embedding-ruimte verwerkt, met oplossingen voor zowel efficiëntie (Resampler) als echtheid (ASWP).
Nieuwe Pooling-methode: De introductie van Attention Sliced Wasserstein Pooling, die de beperkingen van traditionele single-vector pooling doorbreekt door fijne details te behouden.
ACM Benchmark: De creatie van de Audio-Centric Multimodal (ACM) benchmark. Dit omvat twee nieuwe, eerder ontbrekende taken:
- Samengestelde Audio-retrieval: Zoeken op basis van een combinatie van audio en tekst.
- Audio-Visuele Retrieval: Zoeken op basis van audio naar afbeeldingen/video's en vice versa.
  De dataset is gegenereerd met behulp van krachtige generatieve modellen (QwenOmni2.5 en Gemini2.5) en handmatig gevalideerd.
Schaalbare Training: Een trainingsstrategie die het model in staat stelt om te generaliseren over 13 verschillende zoektaken zonder de prestaties op bestaande taken te verliezen.

4. Resultaten

OmniRet is geëvalueerd op 13 zoektaken, een subset van MMEBv2, en de nieuwe ACM benchmark.

Algemene Prestaties: Het model presteert state-of-the-art op samengestelde zoektaken (composed retrieval) voor afbeeldingen, video en audio. Het behaalt de beste resultaten op 12 van de 13 taken in de uitgebreide M-BEIR benchmark.
Audio en Video: Het model overtreft gespecialiseerde modellen (zoals CLAP en ImageBind) op audio- en videotaken, zelfs zonder dat het volledig is getraind op alle in-house datasets.
ACM Benchmark: Op de nieuwe audio-centric taken presteert OmniRet aanzienlijk beter dan bestaande baselines (zoals ImageBind en CLAP), vooral op de complexe taak van samengestelde audio-retrieval (A,T→A). Bestaande modellen faalden vaak op deze taken omdat ze geen complexe, samengestelde queries konden begrijpen.
Efficiëntie: Hoewel OmniRet meer geheugen verbruikt dan eenvoudige dual-encoder modellen (zoals CLIP), is het aanzienlijk sneller dan late-interactie modellen en sneller dan andere VLM-gebaseerde embeddings (zoals VLM2VecV2).

5. Betekenis en Impact

Dit werk is een belangrijke stap in de richting van universele informatierecuperatie.

Technologische Doorbraak: Het bewijst dat het mogelijk is om een enkel model te bouwen dat diverse modaliteiten (inclusief audio) efficiënt en nauwkeurig verwerkt, zonder in te leveren op de kwaliteit van de representatie.
Praktische Toepassingen: De technologie is direct toepasbaar in real-world scenario's zoals RAG (Retrieval-Augmented Generation) systemen en aanbevelingssystemen, waar gebruikers vaak zoeken met een mix van tekst, geluid en beeld.
Community Bijdrage: Door de release van de ACM benchmark en de code, wordt de basis gelegd voor toekomstig onderzoek in omni-modale systemen, waarbij de focus verschuift van tweetalige naar meervoudige modaliteit-interacties.

Kortom, OmniRet lost de fundamentele spanning op tussen rekenefficiëntie en informatiebehoud in multimodale zoeksystemen en opent de deur voor echt universele zoekmachines.