Error Aware Distribution Prediction for Lightweight Implicit Neural Representations

Technische Samenvatting: Foutbewuste Distributievoorspelling voor Lichtgewicht Impliciete Neurale Representaties

Probleemstelling
Impliciete Neurale Representaties (INR's) zijn opgekomen als een krachtig hulpmiddel voor de compacte codering van wetenschappelijke data, zoals 3D-volumes en tijdvariërende scalaire velden, waarbij ze superieure compressieratio's bieden vergeleken met traditionele verlieslatende methoden. Hoewel ze echter verlieslatende benaderingen zijn, introduceren INR's onvermijdelijk voorspellingsfouten die de betrouwbaarheid van downstream wetenschappelijke analyses kunnen compromitteren. Terwijl globale metrieken zoals de Peak Signal-to-Noise Ratio (PSNR) een algemene foutinschatting geven, falen ze in het vastleggen van gelokaliseerde onnauwkeurigheden die cruciaal zijn voor wetenschappelijke interpretatie.

Recente benaderingen maken gebruik van voorspellingsonzekerheid als een indicator voor relatieve foutschalen. Echter, bestaande methoden kampen met significante beperkingen:

1. Computationele Kosten: Klassieke onzekerheidskwantificatiemethoden, zoals deep ensembles en Monte Carlo dropout, introduceren aanzienlijke computationele overhead.
2. Restrictieve Aannames: Lichtgewicht single-pass oplossingen, zoals heteroscedastische en evidentiële regressie, vertrouwen op vooraf gedefinieerde parametrische aannames (bijv. Gaussische of Student's t-distributies). Deze aannames beperken hun vermogen om complexe wetenschappelijke data te modelleren die gekenmerkt worden door long-tailed of multimodale distributies, wat vaak resulteert in onzekerheidsvelden die niet goed overeenstemmen met werkelijke foutregio's.

Methodologie
De auteurs stellen een lichtgewicht trainingsframework voor dat INR-regressie herformuleert als een classificatietaak om flexibele distributiemodellering mogelijk te maken zonder restrictieve parametrische aannames.

• Discretisatiestrategie: Continue doelsignalen worden genormaliseerd naar het bereik $[0, 1]$ en gediscretiseerd in $n$ gelijke bereik-bins (standaard $n=256$). Het doelwit-label voor training komt overeen met de bin die de grondwaarheid bevat.
• Voorspellingsmechanisme: In plaats van een enkele discrete label te voorspellen, geeft het model een waarschijnlijkheidsdistributie over de bins output. De uiteindelijke reconstructiewaarde wordt berekend als de verwachte waarde van deze distributie: $\sum p_i b_i$, waarbij $p_i$ de waarschijnlijkheid van bin $i$ is en $b_i$ het middelpunt van de bin.
• Verliesfunctie: Het primaire doel is Cross-Entropy (CE) loss, wat het model aanmoedigt om een betekenisvolle waarschijnlijkheidsdistributie te leren die de grondwaarheid weerspiegelt. Om "zout-en-peper"-ruis en kwantiseringsfouten te mitigeren die gebruikelijk zijn bij pure classificatiebenaderingen, wordt een Mean Squared Error (MSE) regularisatieterm toegevoegd die de verwachte waarde van de distributie verankert aan de grondwaarheid: $L = L_{CE} + \lambda \cdot L_{MSE}$.
• Onzekerheidskwantificatie: Voorspellingsonzekerheid wordt afgeleid uit de variantie van de voorspelde waarschijnlijkheidsdistributie. Deze variantie dient als een intuïtieve maat voor foutbewustzijn, wat aangeeft hoe ver een voorspelling kan afwijken van zijn verwachte waarde.

Experimentele Opstelling
De studie evalueert de voorgestelde methode tegenover regressie-gebaseerde baselines (heteroscedastische regressie en evidentiële regressie) over vier datasets: twee simulatiedatasets (Rayleigh–Taylor instabiliteit, Magnetische Reconnectie) en twee CT-datasets (Bonsai, Aneurism). Alle modellen maken gebruik van een 5-laagse MLP met 256 neuronen per laag, wat zorgt voor een vergelijkbaar aantal parameters over de verschillende settings.

Belangrijkste Resultaten

1. Reconstructiekwaliteit: Classificatie-gebaseerde benaderingen (specifiek CE en CE+MSE) bereiken PSNR-scores die vergelijkbaar zijn met of hoger zijn dan regressie-gebaseerde methoden. Op de CT-datasets (Bonsai en Aneurism) presteren de classificatie-gebaseerde methoden aanzienlijk beter dan evidentiële en heteroscedastische regressie (bijv. tot 5 dB op Bonsai). Kwalitatieve analyse bevestigt dat classificatie-gebaseerde INR's beter hoogfrequente kenmerken reconstrueren, zoals dunne vaten en kleine vertakkingen, die vaak verloren gaan of ontoereikend worden gevangen door regressiemethoden die beperkt zijn door Gaussische aannames.
2. Foutbewustzijn (AUSE): De Area Under the Sparsification Error (AUSE) metriek wordt gebruikt om te evalueren hoe goed onzekerheid overeenkomt met werkelijke voorspellingsfouten.
   • Cross-Entropy (CE) en Evidentiële Regressie bereiken over het algemeen de laagste AUSE-scores.
   • Pure MSE-regressie levert de hoogste (slechtste) AUSE-scores op, omdat het niet expliciet optimaliseert voor betekenisvolle waarschijnlijkheidsdistributies.
   • De toevoeging van MSE-regularisatie aan CE (CE+MSE) verhoogt de AUSE licht ten opzichte van pure CE, maar blijft competitief, wat een balans biedt tussen reconstructienauwkeurigheid en de kwaliteit van de onzekerheid.
3. Distributieflexibiliteit: Visualisaties van voorspelde distributies in gebieden met scherpe gradiënten laten zien dat de classificatie-setting multimodale gedragingen kan vangen, terwijl heteroscedastische regressie gedwongen wordt in een unimodale Gaussische vorm, waardoor het niet in staat is complexe foutstructuren weer te geven.

Betekenis en Claims
Het artikel claimt dat het herformuleren van INR-training als een classificatietaak een praktische en effectieve alternatieve methode biedt voor wetenschappelijke datamodellering. De primaire betekenis ligt in het bereiken van een complementair prestatieprofiel:

• Hoge Reconstructiekwaliteit: De methode behoudt fijnmazige, hoogfrequente kenmerken beter dan parametrische regressiebenaderingen.
• Betekenisvolle Onzekerheid: Door restrictieve distributieve aannames te vermijden, genereert de classificatiebenadering onzekerheidsvelden die nauwer overeenkomen met werkelijke foutvelden, met name in het vastleggen van gelokaliseerde onnauwkeurigheden.

De auteurs concluderen dat hoewel er een afruil bestaat tussen reconstructienauwkeurigheid en onzekerheidsschatting tussen verschillende methoden, het classificatie-gebaseerde framework een lichtgewicht, single-pass oplossing biedt die beide vereisten effectief balanceert, wat het geschikt maakt voor wetenschappelijke workflows waar zowel datafideliteit als foutbewustzijn cruciaal zijn. Toekomstig werk wordt voorgesteld om de theoretische redenen te onderzoeken waarom dit framework foutbewustzijn in deterministische data vastlegt en om de toepassing ervan te verkennen in settings met inherente onzekerheidsbronnen, zoals ensemble-simulaties.