📊 statistics

Order-Agnostic Autoregressive Modelling with Missing Data

Dieser Beitrag stellt Missingness-Aware Order-Agnostic Autoregressive Models (MO-ARM) vor, ein Framework, das order-unabhängige autoregressive Modelle unter der Perspektive fehlender Daten neu interpretiert, um robuste Imputation unter allgemeinen Mechanismen fehlender Daten zu ermöglichen und die aktive Informationsgewinnung zu unterstützen, wobei es auf realen Benchmarks konsistent bestehende Basismodelle übertrifft.

Ursprüngliche Autoren: Ignacio Peis, Pablo M. Olmos, Jes Frellsen

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ignacio Peis, Pablo M. Olmos, Jes Frellsen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein riesiges Puzzle zu lösen, aber jemand hat die Hälfte der Teile herausgerissen. In der realen Welt passiert dies ständig: Ein Sensor fällt aus, ein Patient vergisst, ein Formular auszufüllen, oder eine Datei wird beschädigt. Normalerweise haben Computer Schwierigkeiten mit diesen „fehlenden Teilen". Sie raten entweder blind, verwerfen die unvollständigen Daten oder geraten in Verwirrung darüber, wie das Bild eigentlich aussehen soll.

Dieser Artikel stellt eine neue Methode vor, mit der Computer fehlende Puzzle-Teile mithilfe eines Verfahrens namens MO-ARM bewältigen können. Hier ist die Funktionsweise, erklärt durch einfache Analogien.

1. Der alte Weg: Das Problem der „strengen Reihenfolge"

Traditionelle KI-Modelle, die versuchen, Daten zu verstehen, sind wie ein sehr starrer Koch, der darauf besteht, ein Sandwich nur in einer bestimmten Reihenfolge herzustellen: Brot, dann Käse, dann Schinken, dann Brot. Wenn Sie dem Koch einen Teller mit nur dem Schinken und der zweiten Brotscheibe geben, gerät er in Panik. Er kann das Sandwich nicht herstellen, weil die Regel „zuerst das Brot" gebrochen ist.

In technischen Begriffen sind dies autoregressive Modelle. Sie sagen das nächste Datenelement basierend auf den vorherigen voraus, sind aber an eine einzige, feste Reihenfolge gebunden. Wenn Daten in der Mitte fehlen, bricht die Kette ab.

2. Die neue Idee: Der „reihenfolgeunabhängige" Koch

Die Autoren untersuchten einen neueren Modelltyp namens Order-Agnostic Autoregressive Models (OA-ARM). Stellen Sie sich einen Koch vor, dem die Reihenfolge egal ist. Er kann mit dem Schinken beginnen, dann den Käse hinzufügen, dann das Brot, oder mit dem Brot beginnen, dann den Schinken, dann den Käse. Er kann das Sandwich in beliebiger zufälliger Reihenfolge zusammenstellen.

Der Artikel macht eine brillante Entdeckung: Wenn Sie diesen „reihenfolgeunabhängigen" Koch an einem kompletten Sandwich trainieren (ohne fehlende Teile), lernt er versehentlich, fehlende Teile perfekt einzufügen.

Warum? Während des Trainings wird der Koch ständig aufgefordert, ein zufälliges Teil (wie den Schinken) basierend auf den anderen Teilen vorherzusagen, die gerade auf dem Tisch liegen (vielleicht nur das Brot). Dies ist genau dieselbe mentale Übung wie das Einfügen eines fehlenden Puzzle-Teils. Der Artikel beweist, dass dieser Trainingsprozess mathematisch identisch mit dem Üben mit „Missing Completely At Random" (vollständig zufällig fehlenden) Daten ist. Selbst wenn Sie nur mit perfekten Daten trainieren, wird das Modell zum Experten darin, zu erraten, was fehlt.

3. Das Upgrade: MO-ARM (Der „Fehlheitsbewusste" Koch)

Die Autoren blieben nicht stehen. Sie erkannten, dass fehlende Daten in der realen Welt nicht immer zufällig sind. Manchmal fehlen Daten wegen des Wertes selbst (z. B. bricht ein Thermometer speziell dann, wenn es zu heiß wird). Dies wird als „Missing Not At Random" (MNAR) bezeichnet.

Sie entwickelten MO-ARM, das eine zweite Ebene der Intelligenz hinzufügt:

Der Koch: Baut das Sandwich immer noch in beliebiger Reihenfolge zusammen.
Der Detektiv: Ein neuer Teil des Modells, der fragt: „Warum fehlt dieses Teil?"

Wenn das Modell lernt, dass Teile fehlen, weil sie „zu heiß" sind, passt es seine Vorhersagen entsprechend an. Dies ermöglicht es MO-ARM, knifflige, nicht-zufällige fehlende Daten viel besser zu bewältigen als frühere Methoden.

4. Die Superkraft: Der „neugierige Detektiv"

Eine der coolsten Funktionen von MO-ARM ist seine Fähigkeit zu entscheiden, was als Nächstes abgefragt werden soll.

Stellen Sie sich vor, Sie sind ein Arzt, der einen Patienten diagnostizieren möchte, aber sich nur wenige Tests leisten können. Sie wollen keinen zufälligen Test durchführen; Sie wollen den, der Ihnen am meisten verrät.

MO-ARM agiert wie ein super-neugieriger Detektiv. Es betrachtet die Daten, die Sie haben, und berechnet: „Wenn ich den Wert dieser einen spezifischen fehlenden Variable kennen würde, wie sehr würde sich mein Vertrauen in die endgültige Antwort verbessern?"
Anschließend wählt es diese spezifische Variable aus, um sie als Nächstes zu „erwerben".
Es geht dies schrittweise durch und sammelt effizient die wertvollsten Informationen, um eine Vorhersage zu treffen, anstatt blind zu raten.

5. Funktioniert es?

Die Autoren testeten dies an zwei sehr unterschiedlichen Arten von Puzzles:

Tabellarische Daten: Wie Tabellen mit Zahlen und Kategorien (z. B. Kreditkartendaten, medizinische Aufzeichnungen). MO-ARM füllte die fehlenden Zahlen konsistent besser als andere hochrangige KI-Modelle.
Bilder: Wie ein Foto eines Gesichts, bei dem die Hälfte der Pixel schwarz ausgeblendet ist. MO-ARM konnte die fehlenden Teile des Gesichts „inpainten" (einfügen) und bewahrte dabei die Identität und Struktur der Person besser als andere Methoden, selbst wenn 98 % des Bildes fehlten.

Zusammenfassung

Kurz gesagt nimmt dieser Artikel ein flexibles KI-Modell, das in beliebiger Reihenfolge lernen kann, erkennt, dass diese Flexibilität es zu einem natürlichen Experten für das Erraten fehlender Daten macht, und verbessert es dann so, dass es versteht, warum Daten fehlen. Das Ergebnis ist ein System, das:

Lücken in unordentlichen, unvollständigen Datensätzen besser als jeder andere ausfüllen kann.
Entscheidet, welche Fragen als Nächstes gestellt werden sollen, um mit dem geringsten Aufwand die nützlichsten Informationen zu erhalten.

Es verwandelt ein starres, reihenfolgeabhängiges KI-System in ein flexibles, detektivisches Werkzeug für das Schlussfolgern unter Unsicherheit.

Technische Zusammenfassung: Ordnungsagnostische autoregressive Modellierung mit fehlenden Daten

Problemstellung

Reale Lernsysteme operieren häufig unter partieller Beobachtbarkeit, wobei Merkmale aufgrund von Sensorfehlern, Beschaffungskosten oder Datenschutzbeschränkungen fehlen. Effektive Systeme in diesen Domänen müssen drei Kernherausforderungen adressieren: (i) Lernen aus unvollständigen Daten, (ii) Imputation fehlender Werte zur Inferenzzeit und (iii) Entscheidung, welche unbeobachteten Variablen bei kostspieligen Beobachtungen beschafft werden sollen (Active Feature Acquisition).

Während tiefe generative Modelle theoretisch einen einheitlichen Ansatz bieten, indem sie die vollständige gemeinsame Verteilung modellieren, weisen bestehende Methoden erhebliche Einschränkungen auf. Variational Autoencoder (VAEs) basieren auf approximativer Inferenz, was die bedingte Genauigkeit begrenzt. Generative Adversarial Networks (GANs) verfügen oft nicht über handhabbare Likelihoods und prinzipielle bedingte Dichten. Diffusionsmodelle produzieren zwar hochwertige Stichproben, erfordern jedoch iterative Stichprobenketten und haben Schwierigkeiten, präzise auf beliebige Teilmengen beobachteter Variablen zu konditionieren. Klassische autoregressive Modelle (ARMs) bieten handhabbare Likelihoods, basieren jedoch auf einer festen Generierungsreihenfolge, was die Konditionierung auf beliebige Teilmengen von Variablen verhindert.

Methodik: MO-ARM

Die Autoren stellen Missingness-Aware Order-Agnostic Autoregressive Models (MO-ARM) vor, ein Framework, das Ordnungsagnostische autoregressive Modelle (OA-ARMs) durch die Brille fehlender Daten neu interpretiert.

1. Theoretische Einsicht: OA-ARMs und MCAR

Die Arbeit stellt zunächst einen theoretischen Zusammenhang zwischen dem Standard-Training von OA-ARMs und der Imputation „Missing Completely At Random" (MCAR) her. OA-ARMs werden auf zufälligen Permutationen von Variablen trainiert und behandeln dabei die Generierungsreihenfolge effektiv als latente Variable. Die Autoren zeigen, dass das Standard-Trainingsziel, das die Vorhersage einer Variable basierend auf einer zufällig ausgewählten Teilmenge zuvor offengelegter Variablen beinhaltet, implizit einen MCAR-Korruptionsprozess simuliert. Folglich generalisieren OA-ARMs, die ausschließlich auf vollständig beobachteten Daten trainiert wurden, ohne Modifikation natürlich auf Imputationsaufgaben unter MCAR-Mechanismen.

2. Das MO-ARM-Framework

Aufbauend auf dieser Einsicht schlagen die Autoren ein prinzipielles Framework vor, um OA-ARMs direkt auf unvollständigen Datensätzen unter allgemeinen Fehlmechanismen (von MCAR bis „Missing Not At Random", MNAR) zu trainieren.

Probabilistische Formulierung: Das Modell faktorisiert die gemeinsame Verteilung der beobachteten Daten ( $x_{z_o}$ ), der fehlenden Daten ( $x_{z_m}$ ) und der Fehlmaskierung ( $z_o$ ) wie folgt:
$p_{\theta, \phi}(x_{z_o}, x_{z_m}, z_o) = p_\theta(x_{z_o}) p_\theta(x_{z_m} | x_{z_o}) p_\phi(z_o | x_{z_o}, x_{z_m})$
Hier repräsentiert $p_\theta$ das generative Modell (ein OA-ARM) und $p_\phi$ einen gelernten Fehlmechanismus.
Trainingsziel: Das Modell maximiert die Log-Likelihood der beobachteten Daten unter Verwendung einer variationellen unteren Schranke (ELBO).
- Für MCAR ist der Fehlterm unabhängig von den Daten und kann weggelassen werden.
- Für MNAR lernt das Modell den Fehlprozess $p_\phi$ explizit unter Verwendung eines elementweisen Bernoulli-Modells, parametrisiert durch ein neuronales Netz. Dies ermöglicht dem Modell, Abhängigkeiten zwischen Fehlern und unbeobachteten Werten zu berücksichtigen.
Imputationsstrategie:
- MCAR: Die Imputation erfolgt durch Marginalisierung über mögliche Entmaskierungs-Trajektorien der fehlenden Variablen unter Verwendung von Monte-Carlo-Sampling.
- MNAR: Das Modell verwendet selbstnormalisierte Importance Weighting. Vollendete Stichproben werden basierend auf der Likelihood der beobachteten Maske unter dem gelernten Fehlmodell $p_\phi$ neu gewichtet, wodurch Vollendungen sichergestellt werden, die konsistent mit dem beobachteten Fehlverhalten sind.

3. Aktive Informationsbeschaffung

MO-ARM nutzt seine amortisierte Schätzung der bedingten Dichte, um Active Feature Acquisition (AFA) durchzuführen. Durch die Schätzung der bedingten gegenseitigen Information $I(x_\Phi; x_{z_i} | x_{z_{<i}})$ zwischen einer Zielvariable $x_\Phi$ und einer Kandidaten-Feature $x_{z_i}$ gegeben aktuelle Beobachtungen, kann das Modell sequenziell die informativsten fehlenden Variablen zur Beschaffung auswählen und so die nachgelagerte Vorhersageleistung maximieren.

Hauptbeiträge

Neuinterpretation von OA-ARMs: Die Arbeit zeigt, dass das Standard-Training von OA-ARMs implizit MCAR-Imputation durchführt, was ihre robuste Leistung außerhalb der Stichprobe in Szenarien mit fehlenden Daten erklärt.
Prinzipielles Training auf unvollständigen Daten: Die Autoren stellen das erste Framework vor, um OA-ARMs direkt auf unvollständigen Datensätzen unter allgemeinen Fehlmechanismen (MCAR und MNAR) zu trainieren, wobei exakte Likelihoods erhalten bleiben und eine effiziente bedingte Stichprobenziehung ermöglicht wird.
Einheitliches Framework für Imputation und Beschaffung: Das Modell vereint die Imputation fehlender Daten und die aktive Informationsbeschaffung und nutzt für beide Aufgaben dieselben amortisierten bedingten Verteilungen.
Empirische Validierung: Das vorgeschlagene MO-ARM wird über reale Benchmarks hinweg evaluiert, einschließlich tabellarischer Daten (UCI-Datensätze) und Bildinpainting (CelebA-HQ).

Experimentelle Ergebnisse

Die Autoren bewerten MO-ARM gegen etablierte Baselines, darunter MIWAE, not-MIWAE (für MNAR), VAEAC, DiffPuter sowie klassische Methoden wie MissForest und MICE.

Tabellarische Imputation: Über sieben UCI-Datensätze mit variierenden Feature-Typen (kontinuierlich und kategorisch) hinweg übertrifft MO-ARM konsistent etablierte generative Baselines unter sowohl MCAR- als auch MNAR-Fehlmechanismen. Bemerkenswert ist, dass MO-ARM unter MNAR not-MIWAE, die einzige andere explizit für diesen Mechanismus entwickelte Baseline, übertrifft.
Bildinpainting: Auf dem CelebA-HQ-Datensatz zeigt MO-ARM eine überlegene Leistung bei der Bewahrung von Identität und grober Struktur im Vergleich zu RePaint (eine diffusionsbasierte Baseline) und erzielt höhere PSNR-Werte, insbesondere wenn der fehlende Prozentsatz steigt (bis zu 98 %).
Aktive Beschaffung: Bei sequenziellen Feature-Beschaffungsaufgaben entspricht MO-ARM den Baselines oder übertrifft diese bei der Reduzierung des Vorhersagefehlers, wenn mehr Features beschafft werden, und demonstriert damit den Nutzen seiner bedingten Verteilungen für Entscheidungsprozesse.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass MO-ARM ein leistungsfähiges und bisher unterschätztes Werkzeug für das Schließen unter unvollständigen Daten darstellt. Die Autoren argumentieren, dass ordnungsagnostische autoregressive Modelle eine praktische und prinzipielle Alternative zu latenten Variablen-Ansätzen (VAE) und diffusionsbasierten Ansätzen für Probleme mit fehlenden Daten bieten. Zu den hervorgehobenen Hauptvorteilen gehören:

Handhabbare Likelihoods: Im Gegensatz zu GANs oder approximativen VAEs bieten MO-ARMs exakte Likelihoods.
Beliebige Konditionierung: Im Gegensatz zu klassischen ARMs unterstützen sie die Konditionierung auf beliebige Teilmengen beobachteter Variablen.
Effizienz: Sie können wiederholt abgefragt werden, während Beobachtungen offengelegt werden, und unterstützen sequenzielle Entscheidungsfindung ohne die Notwendigkeit langer iterativer Stichprobenketten, die von Diffusionsmodellen erforderlich sind.

Die Autoren räumen Einschränkungen ein und stellen fest, dass die exakte Generierung in hochdimensionalen Settings nach wie vor teuer bleibt (wenn auch durch blockiertes Entmaskieren gemildert) und dass die Leistung abnimmt, wenn der beobachtete Kontext extrem spärlich wird. Sie weisen zudem darauf hin, dass, obwohl sich das Framework auf MNAR erstreckt, dieses Regime immer noch schwieriger ist als MCAR und weitere Untersuchungen erfordert.