⚡ electrical engineering

Dual Filter: A Transformer-like Inference Architecture for Hidden Markov Models

Dit artikel presenteert een wiskundig raamwerk voor causale niet-lineaire voorspelling op basis van een verborgen Markov-model, waarbij een optimaal besturingsbenadering leidt tot een 'dual filter'-algoritme dat structureel overeenkomt met decoder-only transformers.

Oorspronkelijke auteurs: Heng-Sheng Chang, Prashant G. Mehta

Gepubliceerd 2026-03-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Heng-Sheng Chang, Prashant G. Mehta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een geheim dossier probeert te ontcijferen. Je ziet alleen de sporen die iemand achterlaat (de woorden die ze zeggen, de tokens), maar je ziet niet de dader zelf (de gedachten of de onderliggende staat). Je taak is om op basis van de sporen die je tot nu toe hebt gezien, te voorspellen wat de volgende stap van de dader zal zijn.

Dit is precies wat een Transformer (zoals de technologie achter ChatGPT) doet: het voorspelt het volgende woord in een zin. Maar hoe werkt dat eigenlijk "onder de motorkap"?

Deze paper introduceert een nieuwe manier om dit probleem te bekijken, genaamd de "Dual Filter" (Dubbele Filter). Hier is de uitleg in simpele taal, met wat creatieve vergelijkingen:

1. Het Probleem: De "Zwarte Doos"

Stel je voor dat je een blindeman bent die door een donker huis loopt. Je hoort geluiden (de tokens of woorden), maar je ziet de kamer niet. Je wilt weten: "Waar ben ik nu?" en "Wat gebeurt er als ik de volgende stap zet?"

De oude manier (RNN's): Je onthoudt je positie in je hoofd en werkt die stap voor stap bij.
De Transformer-methode: Je kijkt naar alle geluiden die je tot nu toe hebt gehoord, en gebruikt een ingewikkelde machine (de "Attention-mechanisme") om te beslissen welke geluiden belangrijk zijn voor de volgende stap. Het werkt heel goed, maar niemand weet precies waarom het zo goed werkt of hoe je het wiskundig perfect kunt beschrijven.

2. De Oplossing: De "Dual Filter"

De auteurs zeggen: "Laten we niet proberen de Transformer na te bouwen, maar laten we de wiskunde gebruiken om de perfecte voorspeller te ontwerpen die eruitziet als een Transformer."

Ze gebruiken een slimme truc uit de optimalisatie-theorie (zoals het plannen van de kortste route in een navigatiesysteem, maar dan voor gedachten).

De Analogie van de "Twee Sporen":
Stel je voor dat je twee sporen hebt die parallel lopen:

Het Filter: Dit is je beste schatting van waar je bent, gebaseerd op wat je hebt gehoord. (De "waarneming").
De Besturing: Dit is een "correctie-knop" die je gebruikt om je schatting perfect te houden. (De "actie").

De paper toont aan dat je deze twee dingen kunt koppelen. De "besturing" (die we de Dual Filter noemen) werkt als een feedback-lus. Het kijkt naar het verschil tussen wat je dacht en wat er echt gebeurde, en past je voorspelling direct aan.

3. De "Magische Formule" (De Vaste Punt)

Het meest interessante deel is dat ze een formule hebben gevonden die zegt: "Als je deze correctie-knop op de juiste manier draait, krijg je precies het antwoord dat je zoekt."

In de wereld van de Transformer gebeurt dit laag voor laag (layer voor layer).

Stel je voor: Je hebt een stapel transparante folies. Op elke folie staat een beetje meer informatie.
De Dual Filter is een machine die deze folies één voor één bewerkt.
De paper laat zien dat deze bewerking precies hetzelfde is als wat een Transformer doet, maar dan met een wiskundige garantie dat het de beste mogelijke voorspelling is.

Het is alsof je een spiegel hebt die zichzelf continu herschikt tot het beeld perfect scherp is. Dit noemen ze een "Fixed-Point" (Vast Punt): je blijft de spiegel aanpassen tot hij niet meer beweegt, omdat het beeld dan perfect is.

4. Waarom is dit cool? (De Voordelen)

Het is sneller voor grote woordenboeken: Transformers worden heel traag als je heel veel woorden hebt (zoals in een groot woordenboek). De Dual Filter is slim ontworpen zodat de snelheid niet afhangt van het aantal woorden, maar alleen van de complexiteit van de "gedachten".
Het is begrijpelijk: Waar Transformers vaak een "zwarte doos" zijn (je weet niet waarom ze iets zeggen), is de Dual Filter transparant. Je kunt precies zien welke "correctie-knop" er is gedraaid en waarom.
Het werkt als een Transformer: Als je de Dual Filter laat draaien, ziet het eruit als een Transformer. Het is dus een brug tussen de wiskundige theorie en de moderne AI.

5. De Experimenten: "De Test"

De auteurs hebben dit getest met een computerprogramma dat lijkt op een mini-versie van een echte AI (genoemd nanoGPT).

Ze lieten het programma een geheim spel spelen (waarbij de regels wiskundig bekend waren).
Resultaat: De Dual Filter kon de regels perfect leren en voorspellen wat er ging gebeuren, zelfs in situaties waar de gewone AI (nanoGPT) soms vastliep of fouten maakte.
Het laat zien dat als je de wiskunde goed begrijpt, je een systeem kunt bouwen dat net zo slim is als de huidige top-AI, maar dan met een heldere, wiskundige basis.

Samenvatting in één zin

Deze paper zegt: "We hebben een nieuwe, wiskundig perfecte manier gevonden om te voorspellen wat er als nächst gebeurt, die er precies uitziet als een Transformer, maar die werkt als een slimme, zelfcorrigerende detective die nooit de weg kwijtraakt."

Het is een stap in de richting van het begrijpen van waarom AI zo goed werkt, en hoe we het nog slimmer en efficiënter kunnen maken.

Titel en Context

Titel: Dual Filter: A Transformer-like Inference Architecture for Hidden Markov Models
Auteurs: Heng-Sheng Chang en Prashant G. Mehta (University of Illinois Urbana-Champaign)
Doel: Het ontwikkelen van een wiskundig raamwerk en algoritmen voor causale niet-lineaire voorspelling in situaties waar observaties gegenereerd worden door een verborgen Markov-model (HMM), met als doel een architectuur te creëren die functioneel vergelijkbaar is met de decoder-only transformer.

1. Probleemstelling

Het artikel adresseert het probleem van het voorspellen van de volgende token (waarde) in een sequentie, gegeven een reeks eerdere tokens.

Achtergrond: Decoder-only transformers berekenen de conditionele waarschijnlijkheid $P(Z_{T+1} = z \mid Z_1, \dots, Z_T)$ van de volgende token. Dit wordt vaak gedaan via complexe attention-mechanismen, maar de onderliggende wiskundige principes van deze inferentie zijn niet volledig geformaliseerd vanuit eerste principes.
Huidige aanpak: Traditionele methoden zoals recurrente neurale netwerken (RNN's) gebruiken een recursief bijgewerkte verborgen toestand. Transformers gebruiken echter een causale masking die de gehele geschiedenis als input neemt.
Doel van dit werk: De auteurs willen geen wiskundig model van een transformer bouwen, maar juist een architectuur afleiden die het voorspellingsprobleem oplost waarvoor transformers zijn ontworpen. Ze gebruiken een HMM als wiskundig tractabel model om deze afleiding te maken.
Kernvraag: Hoe kan men een niet-lineaire voorspeller construeren die de conditionele waarschijnlijkheid berekent, gebaseerd op een HMM, die structureel lijkt op een transformer?

2. Methodologie

De auteurs gebruiken een originele aanpak gebaseerd op optimale besturingstheorie (optimal control) en dualiteitstheorie.

A. Wiskundige Formulering

Model: Een HMM met een eindige toestandsruimte $S$ (dimensie $d$ ) en een eindige observatieruimte $O$ (vocabulaire, grootte $m+1$ ).
Doel: Het vinden van een representatie voor de conditionele maat (posterior) $\pi_T(F) = E[F(X_T) \mid Z_1, \dots, Z_T]$ .
Niet-lineaire voorspeller: De auteurs tonen aan dat deze conditionele verwachting geschreven kan worden als:
$\pi_T(F) = (\text{constante}) - \sum_{t=1}^T U_{t-1}^T e(Z_t)$
Waarbij $U$ een aangepast stochastisch proces is (de "gewichten") en $e(\cdot)$ een mapping van tokens naar $\mathbb{R}^m$ is (vergelijkbaar met one-hot encoding). In tegenstelling tot lineaire voorspellers (Wiener-filter) zijn de gewichten $U_t$ hier stochastisch en afhankelijk van de waarnemingen, wat de niet-lineariteit introduceert.

B. Dualiteitstheorie en Optimale Besturing

MMSE naar Besturing: Het probleem van het minimaliseren van de Mean Squared Error (MMSE) wordt herschreven als een optimale besturingsprobleem (OCP).
Backward Stochastic Difference Equation (BS $\Delta$ E): De dynamische beperking van het besturingsprobleem wordt geformuleerd als een BS $\Delta$ E. Dit koppelt de filterdoelstelling (het schatten van de toestand) aan een besturingsinput.
Dualiteit: Er wordt een dualiteitsprincipe bewezen dat de MMSE-objective linkt aan de kostenfunctie van het besturingsprobleem. De optimale besturing $U^{(opt)}$ correspondeert met de gewichten in de niet-lineaire voorspeller.
Vaste-punt vergelijking: De oplossing voor de optimale besturing leidt tot een vaste-punt representatie van de conditionele maat $\pi$ . Dit suggereert een iteratieve laag-transformatie $N^{(dfltr)}$ op de ruimte van waarschijnlijkheidsmaatregelen.

C. Het Dual Filter Algoritme

Om de vaste-punt vergelijking op te lossen, introduceren de auteurs het Dual Filter algoritme:

Iteratieve aanpak: Een algoritme dat de laag-transformatie $N^{(dfltr)}$ herhaaldelijk toepast, vergelijkbaar met de lagen in een transformer.
Single-shot aanpak: Een efficiëntere versie die slechts één iteratie vereist door $T$ achterwaartse passes te combineren.
Complexiteit: Het algoritme heeft een complexiteit van $O(d^2 T)$ , wat onafhankelijk is van de vocabulairegrootte $m$ . Dit maakt het schaalbaar voor grote vocabulaires, in tegenstelling tot methoden die $O(m^3)$ vereisen.

3. Belangrijkste Bijdragen

Nieuwe Representatie: Een nieuwe, wiskundig gefundeerde representatie voor een causale niet-lineaire voorspeller (formule 1 in het artikel), afgeleid vanuit eerste principes.
Dualiteitstheorie voor HMM's: De paper levert een originele bijdrage aan de controletheorie door de dualiteit tussen niet-lineaire filtering en optimale besturing (specifiek gebaseerd op MMSE en niet op divergentie-minimalisatie) uit te breiden naar discrete HMM's. Dit lost een langdurig open probleem op.
Dual Filter Architectuur: De definitie van een laag-transformatie op de ruimte van waarschijnlijkheidsmaatregelen die functioneel en structureel overeenkomt met de self-attention lagen in een decoder-only transformer.
Efficiëntie: Een algoritme dat schaalbaar is voor grote vocabulaires, wat een beperking is van veel bestaande filtering-methoden in hoge dimensies.
Verbinding met Transformers: Een expliciete mapping tussen de componenten van het Dual Filter (toestandsruimte, observaties, lagen) en de componenten van een transformer (embedding, attention, lagen).

4. Resultaten en Numerieke Experimenten

De auteurs voeren numerieke experimenten uit om het Dual Filter te valideren en te vergelijken met een getrainde transformer (nanoGPT).

Setup:
- Parameters gemodelleerd naar transformer-instellingen: $d=384$ (toestandsdimensie), $m=65$ (vocabulairegrootte), $T=256$ (contextlengte).
- De HMM parameters ( $\mu, A, C$ ) zijn willekeurig gegenereerd of ingesteld met een homotopie-parameter $\alpha$ om de dynamiek te variëren (van deterministisch tot sterk gemengd).
Vergelijking met Ground Truth:
- Het Dual Filter (zowel iteratief als single-shot) convergeert nauwkeurig naar de "ground truth" berekend via het klassieke niet-lineaire filter (forward algorithm).
- De single-shot versie convergeert in één iteratie.
Analyse van de Besturingsinput ( $U$ ):
- De auteurs visualiseren de optimale besturing $U_t$ .
- Bij snelle dynamiek (kleine $\alpha$ ) is de besturing kortstondig (alleen recente observaties tellen mee).
- Bij langzamere dynamiek (grote $\alpha$ ) blijft de besturing over een langere tijdsduur actief, wat lange-afstands correlaties weerspiegelt. Dit gedrag lijkt op hoe transformers context gebruiken.
Vergelijking met nanoGPT:
- De auteurs trainden een nanoGPT op data gegenereerd door dezelfde HMM.
- Resultaat: De transformer presteert goed alleen als de voorspelling ondersteund wordt door een kleine subset van het vocabulaire (laag-complexiteit scenario). In andere gevallen (zoals in Figuur 5 en 9) faalt de transformer om de juiste verdeling te leren, terwijl het model-gebaseerde Dual Filter consistent correct blijft.
- Dit suggereert dat transformers geen universele oplossing zijn voor alle HMM-voorspellingstaken zonder specifieke structuur in de data.

5. Betekenis en Toekomstperspectief

Theoretisch Inzicht: Het artikel biedt een fundamenteel wiskundig raamwerk dat de "black box" van transformer-inferentie ontrafelt. Het toont aan dat transformers effectief een methode zijn om een niet-lineaire filter te benaderen, maar dat dit gebaseerd is op een specifieke representatie die via optimal control kan worden afgeleid.
Architectuur vs. Doel: De auteurs benadrukken dat hun doel niet is om de attention-mechanismen van transformers te kopiëren, maar om de functionele doelstelling (voorspelling van de volgende token) op te lossen via een wiskundig zuivere route.
Toekomstig Werk:
- Leren: Het huidige werk is puur inferentie-georiënteerd (model-based). Toekomstig onderzoek richt zich op het leren van de parameters $(\mu, A, C)$ of de laag-transformatie direct uit data (history-based approach), vergelijkbaar met Reinforcement Learning in POMDP's.
- Stabiliteit: Analyse van de contractie-eigenschappen van de mapping $N^{(dfltr)}$ om filterstabiliteit te garanderen.
- Generalisatie: Uitbreiding naar niet-Markovse processen en real-world data die complexere correlaties vertonen dan een standaard HMM.

Conclusie:
"Dual Filter" is een baanbrekend werk dat de brug slaat tussen klassieke stochastische controletheorie (filtering) en moderne deep learning architecturen (transformers). Het bewijst dat een transformer-achtige architectuur kan worden afgeleid vanuit de eerste principes van optimale besturing voor HMM's, en biedt een efficiënt, model-gebaseerd alternatief voor inferentie dat in bepaalde scenario's superieur is aan getrainde neurale netwerken.