🤖 machine learning

BRIDLE: Generalized Self-supervised Learning with Quantization

BRIDLE is een gegeneraliseerd zelfgesuperviseerd leerframework dat de kwaliteit van representaties over audio-, beeld- en videomodaliteiten heen verbetert door hiërarchische residuele kwantisatie te integreren in een bidirectioneel trainingsproces, waardoor de beperkingen van enkelvoudige codeboek-vectorkwantisatie worden overwonnen en state-of-the-art prestaties op diverse downstream-taken worden bereikt.

Oorspronkelijke auteurs: Hoang M. Nguyen, Satya N. Shukla, Qiang Zhang, Hanchao Yu, Sreya D. Roy, Dipesh Tamboli, Taipeng Tian, Lingjiong Zhu, Yuchen Liu

Gepubliceerd 2026-08-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hoang M. Nguyen, Satya N. Shukla, Qiang Zhang, Hanchao Yu, Sreya D. Roy, Dipesh Tamboli, Taipeng Tian, Lingjiong Zhu, Yuchen Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de moderne wereld van kunstmatige intelligentie worden machines opmerkelijk goed in het herkennen van patronen, maar ze hebben vaak enorme hoeveelheden door mensen gelabelde voorbeelden nodig om te leren. Stel je voor dat je een kind probeert te leren dieren te herkennen door het duizenden afbeeldingen te laten zien, die elk zorgvuldig met de naam van het dier zijn getagd door een geduldige leraar. Hoewel dit werkt, is het traag, duur en beperkt wat de machine kan leren omdat het vastzit in afwachting van menselijke hulp. Een krachtigere aanpak, bekend als zelfgesuperviseerd leren, stelt machines in staat om zichzelf te onderwijzen door de ruwe gegevens te bestuderen die ze krijgen, waarbij ze zoeken naar verborgen structuren en connecties zonder dat iemand de antwoorden hoeft op te schrijven. Deze methode heeft al de manier waarop computers taal begrijpen gerevolutioneerd, waardoor ze de diepe betekenis van zinnen kunnen vatten door miljarden boeken te lezen en de ontbrekende woorden te raden. Nu proberen onderzoekers deze vorm van zelfonderwijzend vermogen naar de wereld van geluid, beelden en video te brengen, in de hoop systemen te creëren die de visuele en auditieve wereld begrijpen zoals ze woorden begrijpen.

De uitdaging bij het toepassen van deze zelfonderwijzende methoden op geluid en video is dat deze signalen continu en complex zijn, in tegenstelling tot de discrete woorden in een zin. Om ze gemakkelijker te maken voor een computer om te verwerken, breken onderzoekers ze vaak af in kleine, afzonderlijke stukjes, vergelijkbaar met het veranderen van een gladde waterstroom in een reeks individuele druppels. Een populaire methode hiervoor maakt gebruik van een "tokenizer", een component die fungeert als een vertaler, die het ruwe signaal omzet in een reeks van deze discrete tokens. Voor een tijdje gebruikten de meest succesvolle systemen een eenvoudige vertaler die één enkele token uit een vaste lijst met opties koos om een deel van het signaal te vertegenwoordigen. Echter, deze aanpak heeft een beperking: het dwingt de computer om slechts één optie te kiezen uit een platte lijst, wat de subtiele, gelaagde details kan missen die een complex geluid of een bewegend beeld vormen. Het is alsof je een complex schilderij probeert te beschrijven door slechts één kleur uit een palet te kiezen, in plaats van verschillende tinten te mengen om de diepte en textuur vast te leggen.

Een team van onderzoekers van Florida State University en Meta Platforms Inc. heeft een nieuw systeem ontwikkeld genaamd BRIDLE om dit probleem op te lossen. Hun werk richt zich op het verbeteren van de vertaler, of tokenizer, die wordt gebruikt in deze zelfonderwijzende systemen. In plaats van te vertrouwen op een enkele, platte lijst met tokens, hebben ze een hiërarchisch systeem geïntroduceerd dat in stadia werkt. Stel je voor dat je een locatie probeert te beschrijven, niet door een enkel adres uit een telefoonboek te kiezen, maar door eerst het land te identificeren, dan de staat, dan de stad en tot slot de straat. Elke stap voegt een laag van detail toe aan de beschrijving. In het BRIDLE-systeem breekt de computer het geluid of beeld af in een reeks residuen, of resterende details, en gebruikt een sequentie van codeboeken om elke laag te beschrijven. De eerste fase legt de brede, algemene kenmerken vast, terwijl de daaropvolgende fasen de fijnere, meer specifieke details invullen. Door deze lagen bij elkaar op te tellen, kan het systeem een veel rijkere en preciezere representatie van de gegevens creëren dan een methode met één stap ooit zou kunnen.

De onderzoekers testten deze nieuwe aanpak op drie verschillende soorten gegevens: audio, afbeeldingen en video. Ze trainden hun model op enorme datasets, waaronder miljoenen geluidfragmenten van YouTube, meer dan een miljoen afbeeldingen uit de standaard ImageNet-collectie, en honderdduizenden videoclips die menselijke handelingen laten zien. In elk geval vergeleken ze hun nieuwe hiërarchische methode met de oudere methode met de enkele lijst, waarbij ze ervoor zorgden dat het totale aantal mogelijke tokens gelijk bleef, zodat het enige verschil de manier waarop die tokens georganiseerd waren, was. De resultaten waren duidelijk en consistent. Het nieuwe systeem, dat deze meerfasige, gelaagde aanpak gebruikt, presteerde consequent beter dan de oudere methode. De verbetering was bijzonder merkbaar toen de onderzoekers testten hoe goed de computer nieuwe dingen kon herkennen die hij nog nooit eerder had gezien, een taak die bekend staat als linear probing. Dit suggereert dat het nieuwe systeem een flexibeler en robuuster begrip van de wereld heeft geleerd, waarbij representaties zijn gecreëerd die gemakkelijker voor andere taken te gebruiken zijn.

Buiten de prestatiecijfers onderzochten de onderzoekers ook hoe het systeem effectiever kan leren. Ze ontdekten dat de manier waarop het systeem zijn leerproces start, een aanzienlijk verschil maakt. Door het systeem te initialiseren met een specifieke wiskundige techniek die de startpunten gelijkmatig verspreidt, in plaats van ze willekeurig te laten zijn, leerde het systeem sneller en betrouwbaarder. Ze ontwikkelden ook een methode om ervoor te zorgen dat elk deel van het systeem wordt gebruikt, om te voorkomen dat de computer grote delen van zijn eigen vocabulaire negeert. Deze technische verfijningen, gecombineerd met de nieuwe gelaagde structuur, stelden het systeem in staat om state-of-the-art resultaten te behalen in audio-classificatie, waarbij het bestaande beste modellen op standaard benchmarks evenaarde of versloeg. Het werk demonstreert dat de manier waarop een machine informatie afbreekt en representeert even belangrijk is als het leeralgoritme zelf. Door over te stappen van een plat systeem met één keuze naar een diep, gelaagd systeem, hebben de onderzoekers aangetoond dat machines kunnen leren om de wereld met meer nuance en helderheid te zien en te horen, wat de weg vrijmaakt voor meer capabele en veelzijdige kunstmatige intelligentie.

Technische Samenvatting: BRIDLE

Probleemstelling
Self-supervised learning (SSL) is een dominante paradigma geworden voor het leren van betekenisvolle representaties uit ongelabelde data over verschillende modaliteiten heen, zoals audio, beeld en video. Hoewel frameworks geïnspireerd door BERT, zoals BEATs voor audio, succesvol bidirectionele gemaskeerde voorspelling hebben aangepast aan niet-tekst modaliteiten met behulp van Vector Quantization (VQ), kampen zij met inherente beperkingen. Specifiek vormt de afhankelijkheid van een enkele, platte codebook als tokenisatie een bindende beperking. Deze aanpak slaagt er vaak niet in om de complexe, multidimensionale aard van signalen (met name in diverse audio-omgevingen) te vatten en lijdt aan inefficiënt gebruik van de codebook, waarbij veel codevectoren ongebruikt of onderbenut blijven, wat leidt tot suboptimale representatie-lering.

Methodologie
Het paper introduceert BRIDLE (Bidirectional Residual Quantization Interleaved Discrete Learning Encoder), een gerichte verbetering van de doel-tokenizer binnen de BEATs-stamboom. In plaats van een volledig nieuw trainingsframework voor te stellen, behoudt BRIDLE de kern van de geïntegreerde encoder–tokenizer trainingslus, de gemaskeerde voorspellingsverliesfunctie en de EMA-stijl codebook-updates van BEATs. De primaire innovatie ligt in het vervangen van de single-codebook VQ-tokenizer door een hiërarchische Residual Quantization (RQ) tokenizer.

Belangrijke technische componenten zijn onder meer:

Hiërarchische Residual Quantization: In plaats van een enkele code te selecteren uit een platte verzameling van grootte $K$ , maakt de RQ-tokenizer gebruik van $M$ codebooks (bijv. $M=4$ ) van grootte $K_m$ (bijv. $K_m=256$ ). Het kwantiseringsproces is additief en meerstapsgewijs: elke fase kwantiseert de residuele fout van de vorige fase. Dit creëert een token-geometrie met tot $K_m^M$ effectieve combinaties (bijv. $256^4 \approx 4 \times 10^9$ ) vergeleken met de platte $K$ combinaties van VQ, wat een rijkere ruimte biedt voor de encoder om te exploiteren.
Interleaved Training: Het framework wisselt af tussen een encoder-trainingsfase (waarbij de tokenizer bevroren is en doel-tokens levert) en een tokenizer-trainingsfase (waarbij de hoofdencoder optreedt als docent om de tokenizer-encoder, codebooks en een tokenizer-estimator te trainen).
Codebook Optimalisatietechnieken:
- Initialisatie: De auteurs vergelijken willekeurige initialisatie met k-means initialisatie op de eerste batch latente vectoren, waarbij zij concluderen dat k-means stabieler en presterender is.
- Ongebruikte Code Resetting: Om stagnatie te voorkomen, worden codebooks gereset als het gebruik van een code onder een drempelwaarde $T_u$ valt tijdens de eerste batch van de tokenizer-training.
- EMA Updates: Het framework maakt gebruik van Exponential Moving Average updates voor codebooks met $\epsilon$ -geregulariseerde normalisatie.
Verliesfuncties: De training omvat een gemaskeerde cross-entropy loss voor de encoder en een samengestelde tokenizer loss bestaande uit een Codebook Loss (die de getrouwheid waarborgt tussen latente vectoren en gekwantiseerde codes) en een Cosine Similarity Loss (die de discrete output van de tokenizer afstemt op de embeddings van de hoofdencoder).

Belangrijkste Bijdragen

Verbetering van het Tokenizer-mechanisme: De voorstel van BRIDLE, die de single-codebook VQ vervangt door een hiërarchische RQ-tokenizer binnen de bestaande BEATs-trainingslus. Deze wijziging biedt een substantieel rijkere token-geometrie zonder het fundamentele trainingsschema te wijzigen.
Uitgebreide Evaluatie: Uitgebreide evaluatie over drie modaliteiten:
- Audio: State-of-the-art resultaten op AudioSet en ESC-50 benchmarks in de reproductie-setting van de auteurs.
- Beeld: Competitieve prestaties op ImageNet-1K, wat consistente verbeteringen laat zien ten opzichte van de matched-total-codes VQ baselines.
- Video: Verbeterde prestaties op de Kinetics-400 actieherkenning.
- Een opmerkelijke bevinding is dat de grootste winsten worden waargenomen onder linear probing, wat suggereert dat de geleerde representaties meer lineair scheidbaar zijn.
Analyse van Codebook Training: Een gedetailleerde analyse van initialisatiestrategieën (uniform versus k-means) en code-resetting mechanismen, die het belang van deze technieken aantonen voor het optimaliseren van kwantisatie-gebaseerde modellen.
Theoretische Convergentie: Een rigoureuze convergentieanalyse van de EMA codebook update met $\epsilon$ -geregulariseerde normalisatie, die bijna-zekere convergentie van clustergroottes, lopende embedding-accumulatoren en codebook-vectoren aantoont onder milde assumpties.

Resultaten
De auteurs rapporteren dat BRIDLE consequent beter presteert dan de matched-total-codes VQ baseline over alle modaliteiten:

Audio: Op AudioSet-2M bereikte de k-means geïnitialiseerde BRIDLE (iter2) een fine-tuning mAP van 47.99, waarmee de VQ BEATs baseline (47.64) werd overtroffen. Vergelijkbare verbeteringen werden gezien op ESC-50 en AudioSet-20K.
Beeld: Op ImageNet-1K bereikte de k-means BRIDLE (iter2) 81.10% Top-1 nauwkeurigheid in fine-tuning en 56.30% in linear probing, waarmee de VQ-variant (80.26% FT, 53.21% LP) werd overtroffen.
Video: Op Kinetics-400 bereikte de k-means BRIDLE (iter2) 72.90% Top-1 nauwkeurigheid, vergeleken met 71.32% voor de VQ-variant.
De resultaten geven aan dat de hiërarchische structuur van RQ de encoder in staat stelt om meer generaliseerbare en robuuste representaties te leren, wat bijzonder duidelijk is in de linear probing metrieken.

Betekenis en Claims
Het paper positioneert BRIDLE niet als een nieuw framework, maar als een "gerichte verbetering van het tokenizer-mechanisme" binnen het gevestigde bidirectionele SSL-paradigma. De auteurs beweren dat de prestatiewinsten primair voortkomen uit de hiërarchische-residuele structuur die een expressievere token-ruimte biedt, in plaats van enkel door een verhoogd gebruik van de codeboek. Het werk demonstreert dat deze architecturale wijziging modaliteit-agnostisch is en effectief de representatie-lering voor audio, beelden en video verbetert. De theoretische bijdragen omvatten de eerste rigoureuze convergentieanalyse van het specifieke EMA update mechanisme dat in deze context wordt gebruikt. De auteurs blijven bescheiden en merken op dat hoewel BRIDLE competitief is met andere gemaskeerde modelleringsmethoden (zoals MAE en BEiT) op ImageNet, het deze resultaten behaalt met minder trainingsiteraties en van nature discrete token-outputs produceert die geschikt zijn voor generatieve of retrieval taken.

Meer zoals dit