💬 NLP

Lost in Interpolation: Why Predictive Feedback Fails in Diffusion Language Models

Dit artikel stelt vast dat de Euclidische lineaire interpolatie die wordt gebruikt in bestaande Masked Diffusion Language Models geometrisch niet overeenkomt met hun hypersferische embeddingruimte, en stelt Spherical Soft-Masking (S-SM) voor, een methode die gebruikmaakt van sferische lineaire interpolatie die de generatieve kwaliteit en perplexiteit aanzienlijk verbetert zonder de convergentie te verslechteren.

Oorspronkelijke auteurs: Lavanya Nigam, Ishaan Bansal, Aryan Sood, Vidit Aggarwal, Gaurav Kumar Nayak

Gepubliceerd 2026-08-10

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lavanya Nigam, Ishaan Bansal, Aryan Sood, Vidit Aggarwal, Gaurav Kumar Nayak

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren een verhaal te schrijven, maar in plaats van hem woord voor woord te laten schrijven zoals een mens, geef je hem een blanco pagina waar elk woord verborgen is achter een "MASKER". De taak van de robot is om naar de hele pagina te kijken, te raden welke woorden in de lege plekken moeten passen, en ze dan één voor één langzaam te onthullen. Dit is hoe een type AI genaamd een "Diffusion Language Model" werkt. Het is als een spelletje "Raad het Woord" gespeeld in omgekeerde volgorde, waarbij de AI begint met totale verwarring en geleidelijk적으로 het beeld opheldert.

Om dit spel sneller en slimmer te maken, gebruiken onderzoekers een truc genaamd "soft-masking". In plaats van dat de robot gewoon zegt: "Ja, ik weet zeker dat dit woord 'kat' is" of "Nee, houd het gemaskeerd", krijgt hij de kans om te zeggen: "Ik weet voor 80% zeker dat het 'kat' is en voor 20% zeker dat het 'hond' is". Ze mengen deze gissingen samen om een nieuw, wazig hulpmiddel te creëren voor de volgende ronde. De grote vraag die dit artikel aanpakt is: Hoe meng je deze gissingen wiskundig? De meeste mensen hebben het op de ouderwetse manier gedaan, alsof het brein van de robot een platte, rechte kaart is. Maar wat als het brein van de robot eigenlijk gevormd is als een enorme, gebogen bol?

Het Mysterie van "Lost in Interpolation"

De auteurs van dit artikel, een team van het Indian Institute of Technology Roorkee, besloten de vorm van de "hersenen" binnen deze AI-modellen te onderzoeken. Ze ontdekten dat de manier waarop deze modellen woorden opslaan niet plat is als een vel papier; het is eigenlijk gebogen, zoals het oppervlak van een bol.

Beschouw de vocabulaire van de AI als een gigantische, onzichtbare wereldbol. Elk woord is een punt op het oppervlak van deze bal. Wanneer de AI een gok doet, wijst hij naar een plek op die wereldbol. Het probleem is dat de standaardmethode voor het mengen van gissingen (genoemd "Linear Interpolation" of LERP) de wereldbol behandelt als een platte kaart. Als je een rechte lijn tekent tussen twee steden op een platte kaart, kun je dwars door het centrum van de Aarde snijden. Maar als je over het oppervlak van de wereldbol loopt, moet je de kromming van de grond volgen. Het artikel laat zien dat de standaardmethode de AI dwingt om door het centrum van de Aarde te lopen, wat een vreemd, onnatuurlijk pad is dat het model in de war brengt en vertraagt.

De Ontdekking van "Lost in Interpolation"

De onderzoekers ontdekten dat wanneer de AI probeert zijn voorspellingen te mengen met de oude, platte methode, de AI "verdwaalt". Ze maten de hoek tussen de "gemaskeerde" staat (het lege vel) en de "voorspelde" staat (de gok) en ontdekten dat deze gedurende het hele trainingsproces constant op 73 graden bleef. Ze merkten ook op dat de "grootte" (of norm) van de woordvectoren bijna exact hetzelfde blijft, ongeacht hoe gebruikelijk of zeldzaam het woord is. Deze twee aanwijzingen zijn als voetstappen die bewijzen dat de AI op een hypersfeer (een meerdimensionale bal) loopt, en niet op een plat vlak.

Omdat de AI op een sfeer leeft, betogen de auteurs dat het gebruik van rechte lijnen om informatie te mengen het verkeerde instrument is. Het is alsof je de afstand tussen New York en Londen probeert te meten met een liniaal op een tafel in plaats van met een touwtje dat om een wereldbol is gewikkeld.

De Oplossing: Spherical Soft-Masking (S-SM)

Om dit op te lossen, heeft het team een nieuwe methode uitgevonden genaamd Spherical Soft-Masking (S-SM). In plaats van een rechte lijn door het centrum van de Aarde te trekken, dwingt S-SM de AI om langs het oppervlak van de wereldbol te lopen.

Zo hebben ze het gedaan:

De Wandeling over de Wereldbol: In plaats van de gissingen in een rechte lijn te middelen, gebruikten ze een speciale wiskundige truc genom een "Fréchet mean" om de gemiddelde plek op het oppervlak van de sfeer te vinden.
De Gebogen Mix: Ze gebruikten een techniek genaamd SLERP (Spherical Linear Interpolation). Stel je een touwtje voor dat strak gespannen is tussen twee punten op een ballon; SLERP volgt dat touwtje langs de curve van de ballon, zonder het oppervlak ooit te verlaten.
Het Resultaat: Ze testten deze nieuwe methode op een AI-model met 169 miljoen parameters. De resultaten waren indrukwekkend. De nieuwe methode werkte niet alleen; het werkte beter.

Wat de Cijfers Zeggen

Het team testte hun nieuwe S-SM-methode tegenover de oude standaard (TopK/LERP) en een versie zonder enige feedback. Ze testten dit met verschillende hoeveelheden "denktijd" (genoemd NFE-budgets, variërend van 64 tot 512 stappen).

Betere Kwaliteit: De nieuwe methode produceerde tekst die veel dichter bij menselijk schrijven lag. Ze maten dit met een score genaamd MAUVE. Bij hogere budgetten (zoals 512 stappen) verbeterde S-SM de MAUVE-score met wel 2 keer vergeleken met de oude methode, en met 27,5% tot 56,1% vergeleken met de standaard TopK/LERP-aanpak.
Minder Fouten: De AI maakte minder verwarrende fouten. De "generatieve perplexiteit" (een maatstaf voor hoe verrast de AI is door zijn eigen tekst) daalde met 16,9% tot 19,6% vergeleken met de baseline.
Geen Trade-offs: Normaal gesproken, wanneer je AI slimmer maakt, wordt het minder creatief (het herhaalt zichzelf). Maar de auteurs vonden dat S-SM de "entropie" (een maatstaf voor creativiteit en willekeur) precies hetzelfde hield als de oude methoden. Het werd slimmer zonder saai te worden.

Waarom de Oude Manier Faalde

Het artikel sluit expliciet de mogelijkheid uit dat de platte, rechte methode slechts "oké" of "goed genoeg" is. De gegevens suggereren dat het fundamenteel fout is voor dit type AI. Wanneer de onderzoekers keken naar de "vertrouwensgewicht" (een getal dat de AI leert om te beslissen hoeveel hij zijn eigen gissingen vertrouwt), zagen ze iets interessants. Onder de nieuwe S-SM-methode leerde de AI veel meer te vertrouwen op zijn geometrische feedback, waarbij het een gewicht van ongeveer 0,056 bereikte, terwijl de oude methode het slechts op 0,030 vertrouwde. Dit suggereert dat de AI zich meer "zelfverzekerd" voelde toen hij niet werd gedwongen om door het centrum van de Aarde te lopen.

De Kern van het Verhaal

Dit artikel suggereert niet alleen een nieuw idee; het levert sterk bewijs dat de geometrie van AI-hersenen sferisch is, en dat we de verkeerde wiskunde gebruiken om met hen te communiceren. Door over te schakelen van rechte lijnen naar gebogen paden (SLERP), hebben de auteurs aangetoond dat we deze modellen betere, snellere teksten kunnen laten genereren zonder hun vonk te verliezen. Het is een herinnering dat je soms, om vooruit te komen, moet stoppen met het lopen in een rechte lijn en de curve moet gaan volgen.

Technisch overzicht: Lost in Interpolation: Waarom voorspellende feedback faalt in diffusie-taalmodellen

Probleemformulering
Masked Diffusion Language Models (MDLMs) genereren tekst door iteratief te denoisen van een volledig gemaskeerde sequentie. Om informatieverlies door binaire unmasking-beslissingen te voorkomen, werd Soft-Masking (SM) geïntroduceerd, waarbij de binaire keuze wordt vervangen door een continue, op vertrouwen gebaseerde blending van de [MASK] embedding en de top- $k$ voorspelde token embeddings.

Bestaande formuleringen construeren deze blend met behulp van Lineaire Interpolatie (LERP) in de ruwe embedding-ruimte. Deze aanpak gaat impliciet uit van een Euclidische embedding-ruimte. De auteurs identificeren echter een kritieke geometrische mismatch: getrainde token embeddings in MDLMs concentreren zich op een hypersferische schil met een bijna constante straal, in plaats van de omringende Euclidische ruimte te vullen.

Het artikel presenteert twee empirische diagnostieken die deze hypersferische geometrie bevestigen:

Norm Stabiliteit: De $L_2$ -normen van token embeddings blijven nagenoeg vlak over vier ordes van grootte van de vocabulaire-frequentie-rang, wat wijst op een schil met een constante straal.
Geodetische Hoek: De hoek tussen de genormaliseerde [MASK] embedding en het genormaliseerde gemiddelde van de top- $k$ voorspellingen blijft gedurende de hele training stabiel op ongeveer 73°.

In een hypersferische geometrie snijdt lineaire interpolatie (een rechte lijn) door het binnenste van de sfeer, wat een punt produceert dat buiten de manifold ligt. Dit "off-manifold" punt slaagt er niet in de semantiek van de interpolatie accuraat te vatten, wat leidt tot degradatie van de training en suboptimale generatiekwaliteit bij het gebruik van LERP.

Methodologie: Spherical Soft-Masking (S-SM)
De auteurs stellen Spherical Soft-Masking (S-SM) voor als een geometrisch gefundeerde vervanging voor de lineaire feedback-operator. S-SM is ontworpen als een "drop-in" vervanging die de trainingsdoelstelling, unmasking-regels en confidence-schema's van bestaande MDLMs behoudt, terwijl alleen de interpolatie-primitive wordt gewijzigd.

De S-SM operator voert drie afzonderlijke stappen uit:

Spherical Aggregation: In plaats van een Euclidisch gewogen gemiddelde, worden de top- $k$ voorspelde embeddings geaggregeerd met behulp van een Fréchet-gemiddelde (specifiek de Karcher-mean) die intrinsiek op de eenheids-hypersfeer wordt berekend. Dit wordt benaderd via enkele iteraties van Karcher-flow, startend vanaf de top-1 voorspelling.
Spherical Interpolation: De blend tussen de [MASK] richting en het geaggregeerde Fréchet-gemiddelde wordt uitgevoerd met behulp van Spherical Linear Interpolation (SLERP). Dit volgt de grootcirkelboog (geodeet) op het oppervlak van de sfeer in plaats van een koord door het binnenste.
Norm Restoratie: De resulterende eenheidsvector wordt geschaald naar de natuurlijke norm van de [MASK] token voordat deze terug naar de backbone wordt gestuurd, om norm-compatibiliteit met het voorgetrainde model te garanderen.

De methode bevat numerieke waarborgen (het afklemmen van inwendige producten en denominatoren) om gevallen af te handelen waarin de mask- en target-richtingen bijna identiek zijn, waarbij wordt teruggevallen op een genormaliseerde lineaire blend in deze randgevallen.

Belangrijkste Bijdragen

Identificatie van Hypersferische Geometrie: De auteurs demonstreren dat MDLMs opereren op een hypersferische embedding-manifold, gekenmerkt door een stabiele $\approx 73^\circ$ hoek tussen de mask- en voorspellingsrichtingen en vlakke embedding-normen. Deze geometrie maakt lineaire interpolatie geometrisch ongeldig.
S-SM Operator: De introductie van een geometrische drop-in vervanging die Fréchet-gemiddelden en SLERP gebruikt om embeddings te aggregeren en te blenden, terwijl de manifold-structuur wordt gerespecteerd.
Empirische Validatie: Een uitgebreide evaluatie die aantoont dat S-SM de training-degradatie veroorzaakt door LERP vermijdt en de generatiekwaliteit consistent verbetert over verschillende sampling-budgets en random seeds.

Resultaten
De auteurs evalueerden S-SM tijdens de continued pre-training van een vrijgegeven 169M-parameter MDLM checkpoint op OpenWebText. Vergelijkingen werden gemaakt met een vanilla MDLM baseline (geen feedback) en de standaard TopK/LERP baseline.

Generatieve Perplexity (Gen PPL): S-MM behaalde consequent lagere perplexiteit, met verbeteringen van 16,9–19,6% ten opzichte van de vanilla baseline en 12,2–14,2% ten opzichte van TopK/LERP over alle geteste NFE (Number of Function Evaluations) budgetten ( $T \in \{64, 128, 256, 512\}$ ).
MAUVE Score: S-SM leverde significante winst op in distributionele gelijkenis (MAUVE). Bij grotere inference-budgetten ( $T=256, 512$ ), verdubbelde het de MAUVE-score van de vanilla baseline bijna en verbeterde het ten opzichte van TopK/LERP met 27,5–56,1%.
Trainingsdynamiek: In tegen tegenstelling tot LERP, dat training-degradatie induceerde (hogere perplexiteit dan de no-feedback baseline), behield S-SM of verbeterde het de training-perplexity.
Learned Confidence: Het geleerde mixing gewicht $\lambda$ convergeerde naar een hogere waarde onder S-SM ( $\lambda \approx 0,056$ ) vergeleken met LERP ( $\lambda \approx 0,030$ ), wat suggereert dat de optimizer meer vertrouwen stelt in de geometrisch goed gevormde feedback.
Entropie: De output-entropie bleef vergelijkbaar over de configuraties, wat aangeeft dat de kwaliteitswinsten niet ten koste gingen van diversiteit.

Betekenis en Claims
Het artikel claimt dat het falen van voorspellende feedback in huidige MDLMs niet komt door het concept van soft-masking zelf, maar door de incorrecte interpolatie-primitive (LERP) die wordt gebruikt in een hypersferische ruimte. Door de feedback-mechanisme af te stemmen op de intrinsieke geometrie van de embedding-ruimte, ontsluit S-SM het volledige potentieel van soft-masking.

De auteurs benadrukken dat S-SM een minimale, drop-in modificatie is die geen wijzigingen vereist in de backbone-architectuur, de trainingsdoelstellingen of de unmasking-schema's. De resultaten suggereren dat het respecteren van de hypersferische aard van token embeddings cruciaal is voor de stabiliteit en prestaties van diffusie-gebaseerde taalmodellen, met name bij het gebruik van continue feedback-mechanismen.

Technisch overzicht: Lost in Interpolation: Waarom voorspellende feedback faalt in diffusie-taalmodellen

Meer zoals dit