🤖 AI

Relational Representation Distillation

Dit artikel stelt Relational Representation Distillation voor, een nieuwe methode voor kennisdistillatie die relatieve relaties tussen instanties behoudt door gebruik te maken van afzonderlijke temperatuurparameters om de beperkingen van standaard KL-divergentie en te strikt contrastief leren te overwinnen, waardoor superieure prestaties wordt bereikt over diverse transfertaken heen.

Oorspronkelijke auteurs: Nikos Giakoumoglou, Tania Stathaki

Gepubliceerd 2026-07-30

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nikos Giakoumoglou, Tania Stathaki

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin de slimste computers lijken op gigantische, torenhoge bibliotheken vol met elk boek dat ooit geschreven is. Ze kunnen problemen oplossen, gezichten herkennen en de wereld begrijpen met ongelooflijke nauwkeurigheid. Maar er is een addertje onder het gras: deze bibliotheken zijn zo massief en zwaar dat ze niet in je rugzak passen, laat staan op je telefoon. Ze hebben enorme hoeveelheden elektriciteit en krachtige hardware nodig om open te blijven staan. Dit is de uitdaging van moderne kunstmatige intelligentie: hoe nemen we de genialiteit van deze gigantische "leraar"-modellen en persen die kennis in kleine, lichtgewicht "leerling"-modellen die overal kunnen draaien?

Om dit te doen, gebruiken wetenschappers een truc genaamd Knowledge Distillation (kennisdestillatie). Denk aan een meesterkok die een jonge leerling lesgeeft. In plaats van de leerling alleen het uiteindelijke recept (het antwoord) te geven, laat de meester hem de beleving van het gerecht zien. Als de meester zegt: "Deze soep smaakt een beetje naar kip, maar heeft ook een hint van kruiden," dan leert de leerling die nuance, in plaats van alleen maar te weten dat het "soep" is. In computertaal zegt het leraarmodel niet alleen "Dit is een kat"; het fluistert ook: "Het lijkt erg op een hond, maar minder op een vliegtuig." Dit "fluisteren" helpt de leerling om de subtiele relaties tussen dingen te begrijpen. Echter, recente pogingen om deze relaties te onderwijzen waren een beetje te streng, als een leraar die schreeuwt: "Jij bent een kat, en die hond is geen kat, dus blijf er ver vandaan!" Dit dwingt de leerling om te vergeten dat katten en honden eigenlijk beide dieren zijn en dus enigszins op elkaar moeten lijken.

Hier komt een nieuw artikel van onderzoekers van Imperial College London met een fris idee genaamd Relational Representation Distillation (RRD). Ze realiseerden zich dat het, in plaats van de leerling te dwingen de exacte afstanden tussen elk object te memoriseren, beter is om hen de relatieve volgorde van dingen te leren. Stel je een klaslokaal voor waar de leraar niet alleen zegt "Ga hier zitten", maar eerder: "Zit dichter bij de hond dan bij het vliegtuig, maar niet zo dicht als bij de kat." De onderzoekers ontdekten dat door een speciale "temperatuur"-instelling te gebruiken om het leren van de leerling scherper en gerichter te maken, ze deze belangrijke relaties konden behouden zonder de verwarring. Hun experimenten laten zien dat deze methode de kleine leerlingmodellen veel beter laat leren, soms zelfs even goed presteren als de gigantische leraarmodellen zelf, terwijl ze de "rugzak" licht en efficiënt houden.

Het probleem met te streng zijn

Lama tijd was de beste manier om een leerlingmodel te onderwijzen een methode genaamd Contrastive Learning (contrastief leren). Stel je een spelletje stoelendans voor waarbij het doel is om je vrienden dichtbij te houden en vreemden weg te duwen. In dit spel, als je een plaatje van een kat hebt, probeert de computer de "kat"-representatie heel dicht bij andere "kat"-plaatjes te brengen en heel ver weg van "hond"- of "vliegtuig"-plaatjes.

Het probleem, zoals de auteurs aangeven, is dat dit spelletje een beetje te intens kan worden. Het dwingt de computer om een kat en een hond als volkomen vreemden te behandelen, ook al zijn het allebei harige dieren. Het is alsoal een leraar die tegen een leerling zegt: "Jij bent een kat, en een hond is een totaal ander universum, dus denk nooit dat jullie op elkaar lijken." Deze "semantische repulsie" (een chique manier om te zeggen "dingen te hard uit elkaar duwen") gooit waardevolle informatie weg. De leerling leert een kat te herkennen, maar vergeet dat katten en honden een familieboom delen.

De nieuwe aanpak: Relatieve relaties

De auteurs stellen een slimmere manier voor om het spel te spelen. In plaats van absolute afstanden af te dwingen, richten ze zich op relatieve relaties. Ze vragen het leerlingmodel om de volgorde van gelijkenis te leren.

Hier is de analogie: Stel je voor dat je je favoriete vruchten rangschikt.

De oude manier (Strikte contrastiviteit): "Een appel is 100% appel. Een banaan is 100% banaan. Ze zijn vijanden. Blijf 100 mijl uit elkaar."
De nieuwe manier (RRD): "Een appel is jouw favoriet. Een peer is je tweede favoriet (omdat ze allebei rond en zoet zijn). Een banaan is de derde. Een rots is de laatste."

De leerling hoeft niet de exacte afstand tussen de appel en de peer in mijlen te weten; hij moet alleen weten dat de peer dichterbij de appel is dan de banaan. Dit behoudt de structuur van de wereld: appels en peren zijn verwant, bananen zijn enigszinds verwant, en rotsen zijn dat niet.

Hoe ze het deden: De magie van Temperatuur

Om dit werkend te krijgen, introduceerden de onderzoekers een slimme truc met betrekking tot temperatuur. In de wereld van AI gaat temperatuur niet over hitte; het gaat over hoe "zacht" of "scherp" de gokken van een model zijn.

Hoge temperatuur: Het model is onzeker en verspreidt zijn gokken (zoals een mistige dag waar alles wazig lijkt).
Lage temperatuur: Het model is zeer zelfverzekerd en verscherpt zijn focus (zoals een laserstraal).

De auteurs gaven de Leraar een specifieke temperatuur en de Leerling een andere, scherpere temperatuur. Ze stelden de temperatuur van de leerling lager (scherper) in dan die van de leraar. Dit betekent dat de leerling wordt gedwongen zich intensief te concentreren op de belangrijkste relaties (de "primaire" relaties, zoals kat versus vliegtuig) terwijl hij nog steeds een zachte, vage herinnering behoudt van de secundaire relaties (zoals kat versus hond).

Ze gebruikten ook een "geheugenbank" — een gigantische lijst met kenmerken die de leraar eerder heeft gezien. De leerling vergelijkt zijn huidige plaatje met deze geheugenbank om te zien waar het in het grote geheel past. Door de "relatieve rangschikking" van de leerling af te stemmen op die van de leraar, leert de leerling de structuur van de wereld zonder in de war te raken door de strikte regels van de oude methoden.

Wat ze vonden

Het team testte deze idee op verschillende beroemde beelddatasets, waaronder CIFAR-100 (die 100 verschillende soorten objecten bevat) en ImageNet (een enorme collectie van meer dan een miljoen afbeeldingen). Ze zetten hun nieuwe methode af tegen de huidige kampioenen in het veld.

De resultaten waren indrukwekkend. Wanneer ze hun nieuwe methode alleen gebruikten, presteerden ze beter dan de standaard "contrastieve" methoden. Maar de echte magie gebeurde toen ze het combineerden met de traditionele kennisdestillatietechniek.

Op de CIFAR-100 dataset toonde hun methode een relatieve verbetering van 75,50% ten opzichte van standaard kennisdestillatiemethoden.
Wanneer ze het combineerden met de klassieke methode, sprong de verbetering naar 80,03%.

In simpele woorden: de leerlingmodellen leerden veel sneller en werden veel slimmer. In sommige gevallen presteerde het kleine leerlingmodel dat met deze nieuwe methode werd getraind, zelfs beter dan het gigantische leraarmodel dat het probeerde te kopiëren!

Ze keken ook naar de "hersenen" van de modellen met een techniek genaamd t-SNE, die complexe data omzet in een 2D-kaart. In deze kaarten kun je zien hoe de computer dingen groepeert. Met de oude methoden waren de groepen rommelig of te ver uit elkaar. Met de nieuwe Relational Representation Distillation zagen de groepen er bijna identiek uit aan de groepen van de leraar. De leerling had succesvol het "wereldbeeld" van de leraar geleerd, waarbij katten bij honden werden gehouden en ver weg van vliegtuigen, precies zoals de leraar bedoelde.

Waarom dit ertoe doet

Dit gaat niet alleen over het mooier maken van cijfers op een grafiek. Het gaat over het praktisch maken van AI. Als we kleine, efficiënte modellen kunnen leren om de wereld te begrijpen zoals de gigantische modellen dat doen, kunnen we slimme AI in onze telefoons, onze auto's en onze horloges plaatsen zonder een supercomputer in de kofferbak nodig te hebben. Door de leerling te leren de relaties te begrijpen in plaats van alleen de regels, hebben de auteurs een manier gevonden om de genialiteit van de reuzen te comprimeren in een pakketje dat in je broekzak past.

Het artikel suggereert dat het focussen op deze relatieve verbindingen een veelbelovende weg vooruit is. Het beweert niet dat het elk probleem in AI heeft opgelost, maar het biedt een duidelijk, effectief hulpmiddel om de volgende generatie slimme apparaten zowel krachtig als draagbaar te maken.

Technisch overzicht: Relational Representation Distillation

Probleemstelling

Knowledge Distillation (KD) beoogt kennis over te dragen van grote, hoogwaardige teacher-modellen naar compacte student-modellen om implementatie in omgevingen met beperkte middelen te vergemakkelijken. Hoewel standaard KD-benaderingen de Kullback-Leibler (KL) divergentie tussen de probabilistische outputs (logits) van teacher- en student-netwerken minimaliseren, slagen ze er vaak niet in de structurele relaties binnen de interne feature-representaties van de teacher te vangen.

Recente ontwikkelingen hebben geprobeerd dit aan te pakken door contrastieve leerdoelen (bijv. CRD) te gebruiken. Deze methoden vertrouwen echter op strikte instance-discriminatie-beperkingen. Dit creëert een "semantische afstoting"-probleem waarbij semantisch gelijkaardige monsters van elkaar worden weggedreven als ze als afzonderlijke instanties worden behandeld, zelfs wanneer ze juist gelijkenis zouden moeten behouden. Het artikel betoogt dat het behoud van de relatieve relaties tussen instanties (bijv. de relatieve gelijkenis van een kat-afbeelding tot een hond versus een vliegtuig) belangrijker is dan het afdwingen van rigide absolute gelijkenis of scheiding.

Methodologie: Relational Representation Distillation (RRD)

Het voorgestelde framework, Relational Representation Distillation (RRD), versoepelt rigide contrastieve doelstellingen door zich te concentreren op het behoud van betekenisvolle relatieve relaties tussen instanties. De kerncomponenten zijn:

Memory Bank en Similarity Scoring:
- Features van zowel teacher ( $z^T_i$ ) als student ( $z^S_i$ ) netwerken worden $\ell_2$ -genormaliseerd om op een eenheids-hypersfeer te liggen.
- Een memory bank $M$ slaat feature-embeddings op van voorgaande batches (bijgewerkt via FIFO- of momentumstrategieën).
- Om directe uitlijning te garanderen, wordt de huidige embedding van de teacher toegevoegd aan de memory bank ( $M^+$ ), wat een set van $K+1$ referentievectoren creëert.
- Similarity scores worden berekend tussen de huidige input-features en de entries in de memory bank met behulp van een softmax-functie met temperatuurparameters.
Dual Temperature Parameters:
- Een belangrijke innovatie is het gebruik van aparte temperatuurparameters voor de teacher ( $\tau_t$ ) en de student ( $\tau_s$ ).
- De teacher-distributie $p^T$ wordt berekend met $\tau_t$ , en de student-distributie $p^S$ met $\tau_s$ .
- De auteurs stellen $\tau_s > \tau_t$ in (bijv. $\tau_s=0.1, \tau_t=0.02$ ). Dit creëert een "gescherpte" distributie voor de student, waardoor deze gedwongen wordt zich te concentreren op de primaire relaties (hoogste similarity scores) terwijl het de flexibiliteit behoudt om secundaire gelijkenissen te vatten, waardoor problemen met class collision door strikte instance-discriminatie worden vermeden.
Verliesfunctie:
- De doelstelling minimaliseert de KL-divergentie tussen de similarity-distributie van de teacher $p^T$ en de similarity-distributie van de student $p^S$ :
  $\mathcal{L}_{RRD} = \sum_{i} -p^T(x_i) \cdot \log p^S(x_i)$
- Dit wordt gecombineerd met een supervised loss ( $\mathcal{L}_{sup}$ ) en een standaard logit-gebaseerde KD-loss ( $\mathcal{L}_{KL}$ ) in de volledige doelstelling:
  $\mathcal{L}_{total} = \mathcal{L}_{sup} + \lambda \cdot \mathcal{L}_{KL} + \beta \cdot \mathcal{L}_{RRD}$
Theoretische Verbindingen:
- Het artikel stelt vast dat naarmate $\tau_t \to 0$ , de RRD-doelstelling convergeert naar de InfoNCE loss (gebruikt in contrastief leren), waardoor InfoNCE effectief een speciaal geval van RRD is.
- Het behoudt ook een structurele relatie met de standaard KL-divergentie die wordt gebruikt in de oorspronkelijke KD van Hinton, maar opereert over de memory bank similarity scores in plaats van klasse-logits.

Belangrijkste Bijdragen

Framework Voorstel: Introductie van RRD, een distillatie-framework dat structurele relaties in feature-ruimtes behoudt door aparte temperatuurparameters te gebruiken voor teacher- en student-distributies, wat resulteert in scherpere student-outputs.
Theoretische Unificatie: Demonstratie van de theoretische verbanden tussen de voorgestelde doelstelling, de InfoNCE contrastieve loss en de KL-divergentie, waarbij wordt aangetoond dat InfoNCE een speciaal geval van RRD is.
Empirische Validatie: Uitgebreide validatie over standaard benchmarks (CIFAR-100, ImageNet, STL-10, Tiny ImageNet) en objectdetectie (MS-COCO), waaruit significante nauwkeurigheidswinsten blijken ten opzichte van bestaande methoden.
Bewijs van Structureel Behoud: Kwantitatief (correlatieanalyse) en kwalitatief (t-SNE visualisaties) bewijs dat RRD de ruimtelijke relaties en structurele consistentie tussen de teacher- en student-embeddingruimtes beter bewaart dan vanilla training of andere distillatiemethoden.

Experimentele Resultaten

De methode werd geëvalueerd op 13 verschillende teacher-student architectuurparen (inclusief ResNet, WideResNet, VGG, MobileNet en ShuffleNet).

CIFAR-100: RRD presteerde beter dan standaard KD en de state-of-the-art CRD-methode wanneer deze als standalone werd gebruikt. Wanneer gecombineerd met KD, leverde het verdere verbeteringen op. Het artikel rapporteert een relatieve verbetering van 75,50% ten opzichte van conventionele KD en een relatieve verbetering van 80,03% wanneer het geïntegreerd is met KD (gebaseerd op gemiddelde relatieve verbeteringsmetrieken).
ImageNet: RRD presteerde consistent beter dan KD over diverse architecturen (bijv. ResNet-50 naar ResNet-18), wat de schaalbaarheid aantoont.
Transfer Learning: In experimenten waarbij features werden overgedragen van CIFAR-100 naar STL-10 en Tiny ImageNet, toonde RRD een sterke feature-overdraagbaarheid, waarbij prestaties vergelijkbaar met of beter dan CRD werden behaald zonder dat extra KD nodig was.
Ablatie-studies:
- Temperaturen: Optimale prestaties werden gevonden met $\tau_t \approx 0.02$ en $\tau_s = 0.1$ . Hogere $\tau_t$ waarden verslechterden de prestaties door te zachte distributies te produceren.
- Memory Grootte: De prestaties verbeterden met een memory-grootte tot $K=16384$ , waarna de winsten afvlakten.
- Loss Weighting: De weegfactor $\beta$ presteerde het best tussen 0.5 en 1.5.
- Memory Structuur: RRD presteerde goed met zowel momentum als FIFO queue updates, waarbij FIFO bijzonder sterke resultaten liet zien.

Betekenis en Claims

Het artikel claimt dat RRD een effectievere benadering van knowledge distillation biedt door de focus te verschuiven van absolute gelijkenis naar het behoud van relatieve relaties tussen instanties. Door de strikte beperkingen van contrastief leren te versoepelen via duale temperatuurparameters, vermijdt de methode het probleem van semantische afstoting, terwijl het ervoor zorgt dat het student-netwerk de primaire structurele cues van de teacher leert.

De auteurs stellen dat hun methode aanzienlijk beter presteert dan bestaande technieken voor knowledge distillation over diverse taken en architecturen. Ze benadrukken dat het verbeterde structurele behoud leidt tot een betere uitlijning met de teacher-modellen en in sommige gevallen zelfs de student in staat stelt de teacher zelf te overtreffen. Het werk suggereert dat de focus op relatieve relaties een veelbelovende richting is voor het ontwikkelen van effectievere technieken voor modelcompressie.