Technische Samenvatting: LLM Flow-processen voor Tekst-geconditioneerde Regressie

Probleemstelling

Het artikel behandelt de uitdaging om deskundigenkennis en ongestructureerde tekstuele metadata op te nemen in regressiemodellen, met name voor tijdreeksvoorspelling. Hoewel vooraf getrainde Large Language Models (LLM's) veelbelovend zijn gebleken voor few-shot regressie door gebruik te maken van impliciete deskundigenkennis, kampen ze met aanzienlijke beperkingen:

1. Foutcascades: Autoregressieve LLM's (bijvoorbeeld Direct Prompt-methode) vertonen "blootstellingsbias", waarbij conditionering op hun eigen onvolmaakte voorspellingen leidt tot cascaderende fouten, vooral naarmate de voorspellinghorizon toeneemt (bijvoorbeeld >100 punten). Dit resulteert vaak in modusinstorting naar lineaire trends of divergente trajecten.
2. Rekenkundige inefficiëntie: Autoregressieve steekproefneming is sequentieel, rekenkundig duur en moeilijk te paralleliseren.
3. Gebrek aan coherentie: Onafhankelijke marginale voorspellingen van LLM's (het afzonderlijk voorspellen van punten) slagen er niet in lokale structurele correlaties vast te leggen, wat leidt tot ontoereikende trajecten en uitschieters.

Neurale Diffusieprocessen (NDP's) bieden daarentegen coherente, parallelle trajectgeneratie en kunnen via synthetische data meta-leren over diverse functieruimten. Echter, standaard NDP's missen een mechanisme om rijke, ongestructureerde tekstuele metadata (bijvoorbeeld "dagelijkse temperatuur in Montreal") op te nemen om de selectie van de functieruimte te sturen.

Methodologie: LLM Flow-processen (LLM-FP)

De auteurs stellen LLM Flow-processen (LLM-FP) voor, een kader dat de semantische conditioneringscapaciteiten van LLM's combineert met de structurele coherentie van Neuraal Diffusieprocessen met behulp van een Product-of-Experts (PoE)-benadering.

Kernmechanisme

De methode definieert een doelprioriteit $\pi_1(y_1|c)$ als het product van twee verdelingen:

1. De Expert ($q$): Een door een LLM afgeleide verdeling geconditioneerd op tekstuele prompts ($c$) en contextdata. De auteurs maken gebruik van een Onafhankelijk LLM-proces (I-LLMP) waarbij de LLM marginale kansen voor individuele punten voorspelt, waardoor de gezamenlijke verdeling wordt gefactoriseerd.
2. De Prior ($p_1$): Een Neuraal Diffusieproces (NDP) getraind op synthetische data (bijvoorbeeld Gaussische Processen met gemengde kernen) om een coherente stochastische procesprior te leren.

De gecombineerde verdeling is:
$$\pi_1(y_1|c) \propto q(y_1|c) p_1(y_1)$$

Gradiëntvrije Steekproefneming via Convolutie

Een belangrijke technische bijdrage is een gradiëntvrije, niet-Monte Carlo steekproefmethode voor dit product van experts binnen een diffusie/flow-matching kader.

• Standaardbenadering: Typisch vereist het sturen van diffusie met een externe energie- of expertterm het berekenen van gradiënten van de expert of het gebruik van Monte Carlo-schatting, wat rekenkundig zwaar en instabiel is.
• Voorgestelde Benadering: De auteurs maken gebruik van het feit dat de output van de LLM een gebinned kansverdeling is (stuksgewijs constant). Zij leiden een tijdsafhankelijke scorecorrectieterm af die het convolueren van de expertverdeling $q$ met een Gaussische kern omvat (die de diffusieruis op tijdstip $t$ voorstelt).
• Gesloten-vorm Oplossing: Omdat de convolutie van een stuksgewijs constante functie met een Gaussische een gesloten-vorm oplossing heeft (uitdrukkbaar via de standaard Gaussische CDF, $\Phi$), kan de scorecorrectie exact worden berekend zonder backpropagatie door de LLM of gebruik van Monte Carlo-steekproeven.
  $$\nabla_{y_t} \log \pi_t(y_t|c) \approx s_\theta(y_t) + \nabla_{y_t} \log \tilde{q}_t(\hat{y}_{1|t}(y_t)|c)$$
  Waar $\tilde{q}_t$ de gladgemaakte expertdichtheid is en $\hat{y}_{1|t}$ de gedenoiseerde schatting van de NDP.

Dit stelt het model in staat om trajecten te steekproeven die consistent zijn met de geleerde lokale structuren van de NDP, terwijl ze "sub-geselecteerd" worden om te aligneren met de tekstuele beperkingen die door de LLM worden geboden.

Belangrijkste Bijdragen

1. Gradiëntvrije PoE-steekproefneming: Een algemene methode voor het steekproeven uit een product van een diffusiemodel en een expertverdeling waarbij de expert in gesloten vorm convolueert met een Gaussische. Dit vermijdt de noodzaak van gradiënten van de expert of Monte Carlo-schatting.
2. LLM-Flow-processen (LLM-FP): Een instantiatie van de bovenstaande methode die door LLM's afgeleide tekst-geconditioneerde kansen integreert met NDP's. Dit maakt tekst-geconditioneerde selectie van functieruimten mogelijk, waardoor het model gedrag kan selecteren of extrapoleren (bijvoorbeeld periodiciteit, trends) dat consistent is met natuurlijke taalbeschrijvingen.
3. Empirische Validatie van Falingsmodi: Het artikel documenteert de specifieke falingsmodi van autoregressieve LLM-regressie (foutcascades, lineaire trend-attractoren) en toont aan dat LLM-FP deze mitigeert door gebruik te maken van de gezamenlijke structuur van de NDP.

Experimentele Resultaten

De auteurs evalueren LLM-FP tegen drie baselines:

• NDP: Onvoorwaardelijk Neuraal Diffusieproces.
• LLM-Direct: Autoregressieve LLM met beperkte decoding.
• LLM-Onafhankelijk: Onafhankelijke marginale LLM-voorspellingen.

Taken:

• Change-Point Regressie: Toetsen van de trouw aan tekstuele beschrijvingen van discontinuïteiten.
• San Diego Regenval: Extrapolatie met seizoensgebonden structuur.
• Periodiek + Lineaire Trend: Extrapolatie van synthetische functies.
• Mauna Loa CO2: Extrapolatie van real-world atmosferische data.

Vondsten:

• Coherentie versus Trouw: LLM-FP produceert trajecten die zowel coherent zijn (glad, tijd-consistent zoals NDP) als trouw aan tekstuele prompts (in tegenstelling tot NDP).
• Robuustheid: In tegenstelling tot LLM-Direct lijdt LLM-FP niet aan foutcascades naarmate de voorspellinghorizon toeneemt (getest tot 256 punten). Het vermijdt de "attractortestand" van lineaire trends die wordt waargenomen bij autoregressieve modellen.
• Kalibratie: LLM-FP bereikt een superieure Continuous Ranked Probability Score (CRPS) en Negative Log Predictive Density (NLPD) in vergelijking met baselines op periodieke en real-world taken, wat wijst op beter gekalibreerde onzekerheid.
• Prestatieafwegingen: Bij de Change-Point-taak bereikte LLM-Direct bijna perfecte nauwkeurigheid van een enkel traject (vanwege de eenvoud van de lineaire trend-attractor), terwijl LLM-FP uitschieters gladde maar de scherpe discontinuïteit in dat specifieke geval niet even perfect nabootste als de autoregressieve baseline. Echter, LLM-FP presteerde consequent beter dan de marginale LLM-Onafhankelijke baseline.

Betekenis en Claims

Het artikel beweert dat LLM-FP een principiële manier biedt om met synthetische data getrainde stochastische procespriors te combineren met deskundigenkennis uitgedrukt in taal.

• Mechanisme: De tekst fungeert als een "zachte functieklasse-selecteur", die de NDP-prior herschikt naar specifiek gedrag (bijvoorbeeld periodiciteit) zonder de onderliggende processtructuur te vervangen.
• Generaliseerbaarheid: De gradiëntvrije convolutiemethode wordt gepresenteerd als een instrument van onafhankelijk belang, toepasbaar op elke expertverdeling die een gesloten-vorm Gaussische convolutie toelaat (bijvoorbeeld stuksgewijze polynomen, gekwantiseerde metingen).
• Beperkingen: De auteurs merken op dat de methode uitgaat van onafhankelijkheid tussen de NDP- en LLM-factoren; als deze sterk gecorreleerd zijn, kan bewijs dubbel worden geteld. Bovendien is de methode afhankelijk van de NDP-prior die voldoende massa toewijst aan de relevante functieklasse; als het gewenste gedrag ver buiten de ondersteuning van de NDP ligt, kan de LLM alleen herschikken, geen nieuwe trajectstructuren creëren.

Het werk suggereert een pad naar regressiemodellen die de kalibratie en gezamenlijke structuur van neurale processen behouden, terwijl ze profiteren van de flexibele conditioneringscapaciteiten van LLM's, en zo de instabiliteit van directe autoregressieve regressie vermijden.