💬 NLP

Text-to-Distribution Prediction with Quantile Tokens and Neighbor Context

Dit paper introduceert Quantile Token Regression, een methode die speciale quantile-tokens en semantisch vergelijkbare buren in de invoerreeks integreert om via self-attention directe paden te creëren voor het voorspellen van volledige conditionele verdelingen, wat leidt tot aanzienlijk nauwkeurigere en scherpere distributieschatten dan bestaande benaderingen.

Oorspronkelijke auteurs: Yilun Zhu, Yuan Zhuang, Nikhita Vedula, Dushyanta Dhyani, Shaoyuan Xu, Moyan Li, Mohsen Bayati, Bryan Wang, Shervin Malmasi

Gepubliceerd 2026-04-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yilun Zhu, Yuan Zhuang, Nikhita Vedula, Dushyanta Dhyani, Shaoyuan Xu, Moyan Li, Mohsen Bayati, Bryan Wang, Shervin Malmasi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een waarzegger bent, maar in plaats van kristallen bollen gebruik je een superintelligente computer (een Large Language Model of LLM) om voorspellingen te doen.

Meestal vragen mensen aan deze computers: "Wat wordt de prijs van dit huis?" of "Hoe lang duurt het voordat iemand antwoordt op deze vraag?" De computer geeft dan één getal terug, bijvoorbeeld: "€450" of "2 uur".

Maar in het echte leven is de wereld zelden zo zeker. Een huis kan voor €400 verkopen, maar ook voor €500. Een antwoord kan na 10 minuten komen, maar soms duurt het uren. De echte kracht zit niet in één getal, maar in het voorspellen van de hele kansverdeling: "Er is 10% kans dat het €400 is, 50% kans dat het €450 is, en 10% kans dat het €500 is."

Dit paper introduceert een slimme nieuwe manier om dit te doen, met twee hoofdideeën die we kunnen vergelijken met speciale hulpmiddelen en een slimme zoektocht.

1. De "Speciale Vraagkaarten" (Quantile Tokens)

Het oude probleem:
Stel je voor dat de computer een enorme, rommelige koffer vol informatie over een huis heeft. Om de prijs te voorspellen, moet hij uit die ene koffer alle mogelijke prijzen (de lage, de gemiddelde en de hoge) eruit halen. Hij probeert alles uit één koffer te persen. Dit werkt niet goed; het is alsof je probeert om tegelijkertijd een zachte bries en een storm uit dezelfde mond te blazen. De resultaten worden vaag en onnauwkeurig.

De nieuwe oplossing:
De auteurs plakken speciale "vraagkaarten" (de Quantile Tokens) direct in de tekst die de computer leest.

Er is een kaartje dat zegt: "Ik ben geïnteresseerd in de goedkoopste prijs."
Er is een kaartje dat zegt: "Ik wil de gemiddelde prijs weten."
Er is een kaartje dat zegt: "Ik ben benieuwd naar de duurste prijs."

Elk kaartje kijkt zelfstandig naar de tekst van het huis. Het kaartje voor de "goedkoopste prijs" let op andere details (bijvoorbeeld: "het is een kleine studio") dan het kaartje voor de "duurste prijs" (dat let misschien op "panoramisch uitzicht").
De metafoor: In plaats van één persoon die alles moet raden, heb je nu een team van specialisten die elk hun eigen vraag stellen en direct het antwoord vinden. Dit maakt de voorspelling veel scherper en nauwkeuriger.

2. De "Slimme Buurman" (Retrieval-Augmented Context)

Het oude probleem:
Stel je vraagt de computer: "Hoeveel kost een appartement in Seattle?" zonder extra informatie. De computer moet dan gissen op basis van wat hij in zijn geheugen heeft. Hij weet misschien dat Seattle duur is, maar hij weet niet of dit specifieke appartement in een rustige straat of in het centrum staat.

De nieuwe oplossing:
Voordat de computer antwoordt, gaat hij eerst op zoek naar soortgelijke voorbeelden (buren).

Hij zoekt in zijn database naar andere appartementen die op jouw vraag lijken.
Hij kijkt niet alleen naar de tekst, maar ook naar de werkelijke prijzen die die andere appartementen hebben gekregen.
Hij zegt dan: "Kijk, dit lijkt op dat appartement daar. Dat verkocht voor €400, €450 en €500. Laten we die verdeling gebruiken als basis voor jouw voorspelling."

De metafoor: Het is alsof je een huis wilt verkopen. In plaats van alleen naar je eigen huis te kijken, loop je naar de buren en vraagt: "Hoeveel hebben jullie voor jullie huis betaald?" Als je drie buren hebt die allemaal tussen de €400 en €500 hebben betaald, is dat een veel betere voorspelling dan als je alleen op je eigen gevoel vertrouwt.

Wat leverde dit op?

De auteurs hebben dit getest op twee grote gebieden:

Airbnb: Het voorspellen van de prijs van vakantiewoningen.
Stack Overflow: Het voorspellen van hoe lang het duurt voordat iemand een vraag over programmeren beantwoordt.

De resultaten waren indrukwekkend:

Scherpere voorspellingen: De "marge" tussen de laagste en hoogste voorspelling werd veel smaller. De computer werd veel zekerder van zijn zaak.
Beter bij moeilijke taken: Vooral bij de kleinere datasets (waar minder voorbeelden waren) was het verschil enorm. De oude methoden gaven hier vaak heel brede, nutteloze antwoorden ("Het kan wel eens 1 minuut zijn, maar ook wel 100 uur"), terwijl de nieuwe methode veel nauwkeuriger was.
Kleinere modellen werken beter: Zelfs de kleinere, snellere computers konden met deze trucjes bijna net zo goed presteren als de enorme, dure modellen.

Conclusie

Dit paper leert ons dat als je wilt voorspellen wat er kan gebeuren (in plaats van alleen wat er zal gebeuren), je twee dingen moet doen:

Geef de computer specifieke vragen voor elke mogelijke uitkomst (de tokens).
Laat de computer kijken naar wat vergelijkbare situaties in het verleden hebben opgeleverd (de buren).

Door deze twee technieken te combineren, krijgen we voorspellingen die niet alleen een getal zijn, maar een volledig, betrouwbaar beeld van de toekomst – inclusief de risico's en de uitzonderingen.

Probleemstelling

Veel toepassingen van Large Language Models (LLM's) voor tekstregressie vereisen niet alleen het voorspellen van een enkel puntwaarde (bijv. een prijs), maar het voorspellen van een volledige conditionele kansverdeling. Dit is essentieel voor scenario's zoals prijsvoorspelling, vraagprognoses en risicobeoordeling, waar spreiding en staartgedrag (outliers) net zo belangrijk zijn als het gemiddelde.

Bestaande benaderingen voor LLM-gebaseerde distributieregressie hebben echter twee fundamentele beperkingen:

Gebrek aan lokale verankering: Modellen voorspellen distributies uitsluitend op basis van de query-tekst, zonder gebruik te maken van vergelijkbare voorbeelden (neighbours) die menselijke redenering over distributies wel ondersteunen.
Indirecte bottleneck: De meeste architecturen gebruiken een gedeelde laatste verborgen toestand (shared hidden state) waaruit meerdere lineaire koppen (heads) verschillende quantielen voorspellen. Dit creëert een bottleneck waarbij de input-features indirect zijn gekoppeld aan de quantiel-specifieke output, wat leidt tot minder nauwkeurige en minder coherente voorspellingen.

Daarnaast is er een theoretische onduidelijkheid over welke verliesfuncties (loss functions) het meest geschikt zijn voor training met empirische quantielen (afgeleid van meerdere waarnemingen per input).

Methodologie

De auteurs introduceren een nieuwe architectuur genaamd Quantile Token Regression, verrijkt met Retrieval-Augmented Distribution Estimation.

1. Quantile Token Regression

In plaats van een gedeelde representatie te gebruiken, voegt de auteurs speciale, leerbare quantile tokens (bijv. <Qτ1>, <Qτ2>, ..., <QτQ>) direct toe aan de inputsequentie van de transformer.

Directe Pad: Elke quantile token kan via self-attention direct naar specifieke delen van de inputtekst kijken. Dit creëert een direct input-output-pad voor elk quantiel.
Specialisatie: De tokens leren gespecialiseerde representaties. Bijvoorbeeld, een token voor een laag quantiel (bijv. 10%) kan focussen op signalen die snelle antwoorden of lage prijzen voorspellen, terwijl een token voor een hoog quantiel (bijv. 90%) focust op complexiteit of hoge prijzen.
Output: De voorspelling voor elk quantiel wordt gedaan door een gedeelde lineaire regressor toe te passen op de specifieke hidden state van de bijbehorende quantile token.

2. Retrieval-Augmented Context

Om de voorspellingen lokaal te verankeren, worden semantisch vergelijkbare voorbeelden (neighbours) opgehaald uit een kandidatenpool.

Empirische Distributies: In tegenstelling tot eerdere retrieval-methoden die slechts één puntwaarde per neighbour teruggeven, krijgt elke opgehaalde neighbour zijn volledige empirische distributie mee, weergegeven als een set quantielen.
Verrijking: Dit geeft het model expliciete bewijslast over de spreiding en vorm van de doelverdeling op basis van vergelijkbare gevallen.

3. Theoretische Analyse van Verliesfuncties

De auteurs analyseren verschillende verliesfuncties voor training met empirische quantielen:

Wasserstein Loss ( $\ell_1$ en $\ell_2$ ): Behandelt de geïnterpoleerde empirische quantielen als ruisachtige metingen van de ware populatiequantielen. Dit leidt tot Fisher-consistente schatters en optimaliseert de afstand tussen de voorspelde en ware distributie.
Pinball Loss (Mismatched): Toont aan dat het toepassen van standaard pinball loss op empirische quantiel-doelen (in plaats van ruwe uitkomsten) leidt tot een systematische bias (inflatie/deflatie), vooral bij extreme quantielen.
Conclusie: De $\ell_1$ Wasserstein loss presteert het beste, omdat deze robuust is en de beste afweging biedt tussen nauwkeurigheid en scherpte van de voorspelling.

Kernbijdragen

Nieuwe Architectuur: De eerste toepassing van dedicated quantile tokens in de inputsequentie van een LLM, wat directe attention-paden voor elk quantiel mogelijk maakt.
Retrieval voor Distributies: Uitbreiding van retrieval-augmented generation (RAG) naar distributieregressie, waarbij niet alleen tekst, maar volledige empirische distributies van neigbours worden gebruikt.
Theoretisch Inzicht: Een wiskundige analyse die aantoont dat Wasserstein-matching superieur is aan pinball-varianten voor training met empirische quantiel-supervisie.
Uitgebreide Evaluatie: Experimenten op twee diverse datasets (Airbnb en Stack Overflow) met LLM's van 1,7B tot 14B parameters.

Resultaten

De experimenten tonen aan dat de combinatie van Quantile Tokens en Retrieval consistent beter presteert dan bestaande baselines (zoals de methode van Vedula et al., 2025).

Nauwkeurigheid: De methode leidt tot een significante reductie in de Mean Absolute Percentage Error (MAPE). Op de StackSample-dataset (kleiner en uitdagender) werd een reductie van 63% in MAPE waargenomen ten opzichte van de baseline zonder retrieval, en 14% ten opzichte van de methode met retrieval maar zonder quantile tokens.
Scherpte van Voorspellingen: De voorspelde intervalbreedtes (RCIW) zijn aanzienlijk smaller. Op StackSample werden de voorspellingsintervallen 6 keer smaller dan de baseline, wat betekent dat de modelvoorspellingen veel preciezer zijn zonder in nauwkeurigheid te verliezen.
Schaalbaarheid: De voordelen zijn het grootst op kleinere datasets en bij kleinere modellen, waar de extra context en directe attention-paden het meest nodig zijn om de onzekerheid te beheersen.
Verliesfuncties: De $\ell_1$ Wasserstein loss resulteerde in de beste prestaties, terwijl pinball-varianten weliswaar een hoge CRPSS-score haalden (door de loss-functie zelf te optimaliseren), maar leiden tot onpraktisch brede voorspellingsintervallen.

Significantie

Dit paper biedt een robuust kader voor het transformeren van tekst naar volledige kansverdelingen. De belangrijkste implicaties zijn:

Verbeterde Besluitvorming: Door niet alleen een gemiddelde te voorspellen, maar een volledige distributie met nauwkeurige intervalvoorspellingen, kunnen systemen beter omgaan met risico's en uitzonderlijke situaties.
Efficiëntie: De methode is schaalbaar en werkt effectief zelfs met kleinere modellen (1.7B parameters), wat de toepasbaarheid in productieomgevingen vergroot.
Interpreteerbaarheid: Door de attention-mechanismen van de quantile tokens te inspecteren, kunnen gebruikers zien welke tekendeel (features) bijdragen aan specifieke delen van de voorspelde distributie (bijv. waarom een antwoord langzaam is).

Samenvattend bewijst deze studie dat het combineren van lokale context (retrieval) met gespecialiseerde architecturale elementen (quantile tokens) een krachtige en eenvoudige aanpak is voor schaalbare tekst-naar-distributie voorspelling.