Technische Samenvatting: Order-agnostische Autoregressieve Modellering met Ontbrekende Data

Probleemstelling

Realistische leersystemen opereren vaak onder partiële waarneembaarheid, waarbij kenmerken ontbreken door sensorfouten, acquisitiekosten of privacybeperkingen. Effectieve systemen in deze domeinen moeten drie kernuitdagingen aanpakken: (i) leren uit onvolledige data, (ii) het imputeren van ontbrekende waarden op het moment van inferentie, en (iii) beslissen welke onwaargenomen variabelen moeten worden aangeschaft wanneer observaties kostbaar zijn (Actieve Kenmerkacquisitie).

Hoewel diepe generatieve modellen theoretisch een geünificeerde aanpak bieden door de volledige gezamenlijke verdeling te modelleren, ondervinden bestaande methoden aanzienlijke beperkingen. Variational Autoencoders (VAE's) vertrouwen op benaderende inferentie, wat de conditionele nauwkeurigheid beperkt. Generative Adversarial Networks (GAN's) missen vaak hanteerbare waarschijnlijkheidsdichtheden en principiële conditionele dichtheden. Diffusiemodellen, hoewel ze hoogwaardige steekproeven produceren, vereisen iteratieve steekproefketens en hebben moeite om precies te conditioneren op willekeurige subsets van waargenomen variabelen. Klassieke Autoregressieve Modellen (ARM's) bieden hanteerbare waarschijnlijkheidsdichtheden, maar vertrouwen op een vaste generatievolgorde, wat conditionering op willekeurige subsets van variabelen verhindert.

Methodologie: MO-ARM

De auteurs introduceren Ontbrekingsbewuste Order-agnostische Autoregressieve Modellen (MO-ARM), een kader dat Order-agnostische Autoregressieve Modellen (OA-ARM's) herinterpreteert door de lens van ontbrekende data.

1. Theoretisch Inzicht: OA-ARM's en MCAR

Het artikel vestigt eerst een theoretisch verband tussen standaard OA-ARM-training en imputatie van Volledig Willekeurig Ontbrekende (MCAR) data. OA-ARM's worden getraind op willekeurige permutaties van variabelen, waardoor de generatievolgorde effectief wordt behandeld als een latente variabele. De auteurs tonen aan dat het standaard trainingsdoel, waarbij een variabele wordt voorspeld op basis van een willekeurig geselecteerde subset van eerder onthulde variabelen, impliciet een MCAR-corruptieproces simuleert. Bijgevolg generaliseren OA-ARM's die uitsluitend zijn getraind op volledig waargenomen data, zonder modificatie, natuurlijk naar imputatietaken onder MCAR-mechanismen.

2. Het MO-ARM Kader

Op basis van dit inzicht stellen de auteurs een principieel kader voor om OA-ARM's direct te trainen op onvolledige datasets onder algemene ontbrekingsmechanismen (van MCAR tot Niet-Willekeurig Ontbrekend, of MNAR).

• Probabilistische Formulering: Het model factoriseert de gezamenlijke verdeling van waargenomen data ($x_{z_o}$), ontbrekende data ($x_{z_m}$) en het ontbrekingsmasker ($z_o$) als:
  $$p_{\theta, \phi}(x_{z_o}, x_{z_m}, z_o) = p_\theta(x_{z_o}) p_\theta(x_{z_m} | x_{z_o}) p_\phi(z_o | x_{z_o}, x_{z_m})$$
  Hierbij vertegenwoordigt $p_\theta$ het generatieve model (een OA-ARM), en is $p_\phi$ een geleerd ontbrekingsmechanisme.
• Trainingsdoel: Het model maximaliseert de log-waarschijnlijkheid van de waargenomen data met behulp van een variational lower bound (ELBO).
  • Voor MCAR is het ontbrekingsonafhankelijk van de data en kan worden weggelaten.
  • Voor MNAR leert het model expliciet het ontbrekingsproces $p_\phi$ met behulp van een element-voor-element Bernoulli-model geparametriseerd door een neurale net. Dit stelt het model in staat om afhankelijkheden tussen ontbrekende data en onwaargenomen waarden te accounten.
• Imputatiestrategie:
  • MCAR: Imputatie wordt uitgevoerd door te marginaliseren over mogelijke ontmaskeringstrajecten van de ontbrekende variabelen met Monte Carlo-steekproeven.
  • MNAR: Het model maakt gebruik van zelfgenormaliseerde belangsweging. Voltoonde steekproeven worden opnieuw gewogen op basis van de waarschijnlijkheid van het waargenomen masker onder het geleerde ontbrekingsmodel $p_\phi$, zodat voltooiingen die consistent zijn met het waargenomen ontbrekingspatroon prioriteit krijgen.

3. Actieve Informatieacquisitie

MO-ARM maakt gebruik van zijn geamortiseerde schatting van conditionele dichtheden om Actieve Kenmerkacquisitie (AFA) uit te voeren. Door de conditionele wederzijdse informatie $I(x_\Phi; x_{z_i} | x_{z_{<i}})$ te schatten tussen een doelvariabele $x_\Phi$ en een kandidaat-kenmerk $x_{z_i}$, gegeven huidige observaties, kan het model sequentieel de meest informatieve ontbrekende variabelen selecteren om aan te schaffen, waardoor de downstream voorspellende prestaties worden gemaximaliseerd.

Belangrijkste Bijdragen

1. Herinterpretatie van OA-ARM's: Het artikel toont aan dat standaard OA-ARM-training impliciet MCAR-imputatie uitvoert, wat hun robuuste prestaties buiten de steekproef in situaties met ontbrekende data verklaart.
2. Principiële Training op Onvolledige Data: De auteurs introduceren het eerste kader om OA-ARM's direct te trainen op onvolledige datasets onder algemene ontbrekingsmechanismen (MCAR en MNAR), terwijl exacte waarschijnlijkheidsdichtheden worden behouden en efficiënte conditionele steekproefneming mogelijk wordt gemaakt.
3. Geünificeerd Kader voor Imputatie en Acquisitie: Het model verenigt imputatie van ontbrekende data en actieve informatieacquisitie, waarbij voor beide taken dezelfde geamortiseerde conditionele verdelingen worden gebruikt.
4. Empirische Validatie: De voorgestelde MO-ARM wordt geëvalueerd op realistische benchmarks, waaronder tabulaire data (UCI-datasets) en image inpainting (CelebA-HQ).

Experimentele Resultaten

De auteurs evalueren MO-ARM tegenover gevestigde baselines, waaronder MIWAE, not-MIWAE (voor MNAR), VAEAC, DiffPuter, en klassieke methoden zoals MissForest en MICE.

• Tabulaire Imputatie: Over zeven UCI-datasets met variërende kenmerktypen (continu en categorisch) presteert MO-ARM consistent beter dan gevestigde generatieve baselines onder zowel MCAR- als MNAR-ontbrekingsmechanismen. Opmerkelijk is dat MO-ARM onder MNAR beter presteert dan not-MIWAE, de enige andere baseline die expliciet voor dit mechanisme is ontworpen.
• Image Inpainting: Op de CelebA-HQ-dataset toont MO-ARM superieure prestaties in het behoud van identiteit en grove structuur vergeleken met RePaint (een op diffusie gebaseerde baseline), met hogere PSNR-scores, vooral naarmate het percentage ontbrekende data toeneemt (tot 98%).
• Actieve Acquisitie: Bij sequentiële kenmerkacquisitietaken komt MO-ARM overeen met of presteert het beter dan baselines in het verminderen van de voorspellingsfout naarmate meer kenmerken worden aangeschaft, wat de bruikbaarheid van zijn conditionele verdelingen voor besluitvorming aantoont.

Betekenis en Claims

Het artikel claimt dat MO-ARM een krachtig en eerder ondergewaardeerd instrument vormt voor redeneren onder onvolledige data. De auteurs betogen dat order-agnostische autoregressieve modellen een praktische en principiële alternatief bieden voor latent-variabele (VAE) en op diffusie gebaseerde benaderingen voor problemen met ontbrekende data. Belangrijke voordelen die worden benadrukt, zijn:

• Hanteerbare Waarschijnlijkheidsdichtheden: In tegenstelling tot GAN's of benaderende VAE's bieden MO-ARM's exacte waarschijnlijkheidsdichtheden.
• Willekeurige Conditionering: In tegenstelling tot klassieke ARM's ondersteunen ze conditionering op willekeurige subsets van waargenomen variabelen.
• Efficiëntie: Ze kunnen herhaaldelijk worden opgevraagd naarmate observaties worden onthuld, wat sequentiële besluitvorming ondersteunt zonder de noodzaak van lange iteratieve steekproefketens die door diffusiemodellen worden vereist.

De auteurs erkennen beperkingen, en merken op dat exacte generatie duur blijft in hoogdimensionale situaties (hoewel dit wordt verzacht door geblokkeerde ontmaskering) en dat de prestaties verslechteren naarmate de waargenomen context extreem schaars wordt. Ze merken ook op dat hoewel het kader zich uitstrekt tot MNAR, dit regime uitdagender blijft dan MCAR en verdere studie vereist.