📊 statistics

Geometry-Aware Bayesian Quantification via Compositional Data Analysis

Dit artikel introduceert een geometrie-bewuste Bayesiaanse kwantificatiemethode die log-ratio-representaties en Aitchison-geometrie benut om de beperkingen van Euclidische kernels bij het modelleren van classifier-posteriorverdelingen aan te pakken, waardoor de adaptatie van labelverschuiving en prevalentie-inschatting over diverse datadomeinen wordt verbeterd.

Oorspronkelijke auteurs: Alejandro Moreo, Pablo González, Juan José del Coz

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alejandro Moreo, Pablo González, Juan José del Coz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert de samenstelling van een menigte te achterhalen die je niet direct kunt zien. Je hebt een "kristallen bol" (een machine learning-model) die naar mensen kijkt en hun beroep raadt. Soms is de kristallen bol heel zelfverzekerd ("Dit is absoluut een dokter!") en soms is hij onzeker ("Misschien een verpleegkundige, misschien een leraar?").

Het probleem is dat de menigte waar je nu naar kijkt (de testdata) een andere mix van beroepen kan hebben dan de menigte waarop de kristallen bol is getraind. Misschien was de trainingsmenigte voor 50% artsen, maar is de nieuwe menigte voor 90% artsen. Dit wordt Label Shift genoemd.

Jouw doel is Kwantificatie: Je hoeft niet het beroep van elk individu te raden; je moet alleen nauwkeurig de percentages artsen, verpleegkundigen en leraren in de nieuwe menigte schatten.

Het Probleem: De "Platte Kaart"-fout

Het artikel betoogt dat de meeste huidige methoden voor het oplossen van dit probleem een "platte kaart" gebruiken om een "gebogen wereld" te navigeren.

De Gebogen Wereld (De Simplex): De kansen die je kristallen bol geeft (bijv. 80% Dokter, 20% Verpleegkundige, 0% Leraar) tellen altijd op tot 100%. In de wiskunde wordt dit een Simplex genoemd. Denk aan een driehoekig stuk papier. Je kunt niet "van het papier af" bewegen; als je het percentage Dokters verhoogt, moet je het percentage Verpleegkundigen of Leraren verlagen. Ze zijn aan elkaar gekoppeld.
De Platte Kaart (Euclidische Ruimte): Standaardmethoden behandelen deze kansen als punten op een plat rooster (zoals een standaard X-Y grafiek). Ze gebruiken een "Gaussische kernel", wat in essentie een klokcurve is.
De Fout: Als je een klokcurve op een plat rooster tekent nabij de rand van je driehoekige papier, lekt de helft van die curve van het papier af. In wiskundige termen betekent dit dat er waarschijnlijkheid wordt toegewezen aan onmogelijke zaken (zoals -5% Dokters of 110% Dokters). Deze "lekkage" zorgt ervoor dat de wiskunde rommelig en onnauwkeurig wordt, vooral wanneer de kristallen bol zeer zelfverzekerd is (wat de data direct tegen de randen van de driehoek duwt).

De Oplossing: Een Nieuwe Kompas en een Veiligheidsnet

De auteurs stellen een nieuwe manier voor om deze wiskunde te bedrijven die de vorm van de driehoek respecteert.

1. De Nieuwe Kompas (Compositional Data Analysis):
In plaats van een plat rooster, gebruiken ze een speciale wiskundige transformatie (de log-ratio) die het platte rooster verandert in een oppervlak dat de vorm van de driehoek volgt zonder het te scheuren of van de randen af te lekken. Het is alsof je een kaart van de aarde uitvouwt zodat afstanden en hoeken logisch blijven ten opzichte van elkaar. Hierdoor kunnen ze hun "klokcurves" (kernels) tekenen op een manier die perfect binnen de driehoek blijft.

2. Het Veiligheidsnet (Shrinkage):
Er is een addertje onder het gras. Wanneer de kristallen bol te zelfverzekerd is (bijvoorbeeld 99,9% Dokter), kan de wiskunde op deze nieuwe kaart wankel en onstabiel worden nabij de uiterste randen.
Om dit op te lossen, voegen de auteurs een "veiligheidsnet" toe genaamd Shrinkage. Stel je voor dat je elk punt op de driehoek een klein beetje richting het centrum trekt.

Als het punt aan de uiterste rand staat (99,9% Dokter), trekt het veiligheidsnet het een klein beetje terug naar (95% Dokter).
Dit voorkomt dat de wiskunde bij de randen vastloopt.
Cruciaal is dat ze het "zoomniveau" (bandwidth) van hun klokcurves aanpassen, zodat dit terugtrekken de uiteindelijke resultaten niet vertekent. Het is alsof je net genoeg uitzoomt zodat de teruggetrokken punten nog steeds de oorspronkelijke menigte accuraat vertegenwoordigen.

Het Resultaat: Een Bayesiaanse Kristallen Bol

Door deze nieuwe "gebogen-wereld"-kaart te combineren met het "veiligheidsnet", creëren de auteurs een systeem dat twee dingen kan doen:

Punt-schatting: Een enkele beste schatting geven voor de samenstelling van de menigte (bijv. "Het is 85% Dokters").
Bayesiaanse Inferentie: Een bereik van waarschijnlijke antwoorden geven met een betrouwbaarheidsniveau (bijv. "Het is waarschijnlijk tussen de 80% en 90% Dokters"). Dit is als de detective die zegt: "Ik ben vrij zeker, maar hier is de foutmarge."

Wat de Experimenten Laten Zien

Het team heeft dit getest op 42 verschillende datasets (tekst, afbeeldingen en spreadsheets).

Nauwkeurigheid: Hun methode was consequent beter dan de oude "platte kaart"-methoden, vooral wanneer de data nabij de randen lag (hoge mate van zelfvertrouwen in voorspellingen).
Robuustheid: Zonder het "veiligheidsnet" (shrinkage) faalde de nieuwe methode soms spectaculair op specifieke datasets. Met het veiligheidsnet werd het betrouwbaar.
Onzekerheid: Hun methode bood betere betrouwbaarheidsintervallen dan andere Bayesiaanse methoden, wat betekent dat ze beter konden aangeven wanneer ze onzeker waren.

In Samenvatting

Het artikel zegt: "Stop met het proberen te meten van een driehoekig, onderling verbonden systeem met een plat, onafhankelijk liniaal. Gebruik een kaart die ontworpen is voor driehoeken, maar voeg een veiligheidsnet toe om de wiskunde bij de randen stabiel te houden. Dit geeft je nauwkeurigere schattingen van de demografie van een menigte en een beter gevoel bij hoe zeker je kunt zijn van die schattingen."

Technische Samenvatting: Geometrie-bewuste Bayesiaanse Kwantificering via Compositionele Data-analyse

1. Probleemstelling

Het artikel behandelt het probleem van kwantificering (of klasse-prevalentie schatting) onder label shift. In deze setting moet een classifier die getraind is op een bronverdeling $P_s$ de onbekende klasseverdeling $P_t(Y)$ van een doeldomein schatten, uitgaande van het feit dat de voorwaardelijke distributie van kenmerken gegeven labels invariant blijft ( $P_s(X|Y) = P_t(X|Y)$ ).

Hoewel veel methoden direct opereren op de posterior kansen van een classifier, identificeren de auteurs een fundamentele geometrische mismatch in bestaande continue dichtheidsgebaseerde benaderingen (specifiek KDE-gebaseerde kwantificeerders zoals KDEy): de posterior kansvectoren liggen op het kans-simplex ( $\Delta^{K-1}$ ), wat compositionele data vormt. Standaard Kernel Density Estimation (KDE) vertrouwt op Euclidische Gaussische kernels, die de relatieve structuur van composities negeren. Dit leidt tot twee kritieke problemen:

Grensoverschrijding: Euclidische kernels kennen een niet-nul kansmassa toe buiten de grenzen van het simplex.
Verstoorde Geometrie: De Euclidische afstand respecteert de relatieve aard van composities niet, wat de gelijkenisrelaties tussen posterior vectoren potentieel kan verstoren.

Deze mismatch is bijzonder ernstig nabij de grenzen van het simplex, waar zelfverzekerde classifier-voorspellingen (die veel voorkomen in real-world settings, vooral bij neurale netwerken) zich concentreren.

2. Methodologie

De voorgestelde oplossing integreert Compositional Data Analysis (CoDA) met Bayesiaanse inferentie en een nieuwe shrinkage regularisatie.

A. Geometrie-bewuste Representatie
In plaats van dichtheden te modelleren in de omringende Euclidische ruimte, transformeert de methode de posterior vectoren $p$ naar log-ratio coördinaten met behulp van de Centered Log-Ratio (CLR) transformatie:
$\phi(p) = \left( \log \frac{p_1}{g(p)}, \dots, \log \frac{p_K}{g(p)} \right)$
waarbij $g(p)$ het geometrisch gemiddelde is van de componenten. Dit brengt het simplex in kaart naar een nul-som subruimte van $\mathbb{R}^K$ , wat een dichtheidschatting mogelijk maakt die consistent is met Aitchison-geometrie.

B. Shrinkage Regularisatie
De auteurs merken op dat naïeve log-ratio transformaties instabiel worden nabij de grens van het simplex (waar componenten naar nul naderen). Om dit te mitigeren, introduceren zij een shrinkage transformatie $T_\lambda$ :
$T_\lambda(p) = (1-\lambda)p + \lambda u$
waarbij $u = (1/K, \dots, 1/K)$ het barycentrum is en $\lambda \in [0, 1)$ .

Effect: Dit contraheert het effectieve simplex naar het centrum, waardoor getransformeerde composities gewaarborgd blijven buiten de nulwaarden.
Bandbreedte Aanpassing: De shrinkage schaalt de afstanden in het simplex hypervlak uniform met $(1-\lambda)$ . Bijgevolg wordt de effectieve bandbreedte aangepast naar $h_{eff} = (1-\lambda)h$ om het niveau van smoothing te behouden.
Theoretische Rechtvaardiging: Naarmate $\lambda \to 1$ , lineariseert de transformatie de CLR-map nabij het barycentrum, waardoor de geometrie wordt geregulariseerd zonder het model te laten inklappen tot een standaard Euclidische KDE.

C. Bayesiaanse Formulering
De methode formuleert kwantificering als een mixture density estimation probleem. De likelihood van de doel-prevalentievector $\pi$ gegeven geobserveerde posteriors $P$ is afgeleid. Cruciaal is dat de Jacobiaan-term die voortvloeit uit de verandering van variabelen (van simplex naar log-ratio ruimte) onafhankelijk is van $\pi$ . Dit maakt een praktische Bayesiaanse posterior inferentie mogelijk:
$p(\pi | P) \propto p(\pi) \prod_{i=1}^n \left( \sum_{k=1}^K \pi_k f_k^h(z^{(i)}) \right)$
waarbij $z^{(i)} = \phi(T_\lambda(p^{(i)}))$ en $f_k^h$ de klasse-conditionele dichtheden zijn die in de getransformeerde ruimte zijn geschat. Deze formulering ondersteunt zowel puntinschatting (via Maximum Likelihood) als volledige Bayesiaanse inferentie (via sampling, bijv. NUTS) over de klasse-prevalenties.

3. Belangrijkste Bijdragen

Geometrie-bewuste KDE: De eerste KDE-gebaseerde kwantificeerder die de simplex-geometrie van posterior kansen respecteert door gebruik te maken van log-ratio transformaties en Aitchison-geometrie.
Shrinkage Regularisatie: Een nieuw mechanisme om log-ratio modellering nabij de grenzen van het simplex te stabiliseren, wat numerieke instabiliteit voorkomt terwijl de compositionele structuur behouden blijft.
Bayesiaans Kader voor KDE: Een principiële afleiding van Bayesiaanse inferentie voor KDE-gebaseerde kwantificeerders, waarbij eerdere beperkingen waarbij dergelijke formuleringen beperkt waren tot gediscretiseerde (histogram) modellen of binaire problemen, worden overwonnen.
Empirische Validatie: Uitgebreide evaluatie over 42 datasets (tabular, tekst en beeld) die een competitieve prestatie aantoont ten opzichte van state-of-the-art punt-schatters en superieure resultaten behaalt onder Bayesiaanse kwantificeringsmethoden.

4. Experimentele Resultaten

De auteurs evalueerden de methode (aangeduid als KDEy(Ait- $\lambda$ ) voor puntinschatting en Bayes-KDEy(Ait- $\lambda$ ) voor Bayesiaanse inferentie) tegen baselines inclusief CC, PCC, BBSE/ACC, MLLS/EMQ, en standaard Gaussische KDE (KDEy(Gau)).

Puntinschatting: De voorgestelde methode behaalde de beste gemiddelde rang in zowel Absolute Error (AE) als squared weight-ratio error (W) over alle modaliteiten (tabular, tekst, beeld). Het presteerde frequent beter dan de standaard Gaussische KDE, met name op de tabular en beeld datasets.
Onzekerheidskwantificering: In het Bayesiaanse regime bood de methode sterke dekking (coverage) en redelijke interval-amplitudes. Hoewel Bayes-ACC een iets betere ruwe coverage gap liet zien ten koste van grotere intervallen en zwakkere puntinschatting, boden de voorgestelde KDE-gebaseerde Bayesiaanse methoden de beste algemene geaggregeerde rangschikking.
Robuustheid tegen de Ernst van de Shift: De methode domineerde in lage, medium en hoge label shift regimes, met uitzondering van specifieke tekst datasets in lage/medium shift waar andere Bayesiaanse methoden licht beter presteerden.
Prestaties bij de Grens: In experimenten waarbij de doel-prevalenties geconcentreerd waren nabij de grens van het simplex ( $\alpha_{test}=0.1$ ), presteerde de shrinkage-geregulariseerde Aitchison KDE significant beter dan de Euclidische Gaussische KDE en bootstrap baselines, wat de noodzaak van het respecteren van de simplex-geometrie in deze regimes valideert.
Ablatie: Het verwijderen van shrinkage ( $\lambda=0$ ) leidde tot scherpe fouten op specifieke benchmarks, wat bevestigt dat shrinkage niet louter een numerieke veiligheid is, maar een adaptief mechanisme dat essentieel is voor stabiliteit.

5. Betekenis en Claims

Het artikel claimt dat het respecteren van de simplex-geometrie van posterior kansen niet alleen theoretisch gemotiveerd is, maar ook praktisch voordelig voor multiclass kwantificering. De auteurs stellen dat:

Standaard Euclidische KDE's geometrische mismatches introduceren die leiden tot bevooroordeelde of instabiele prevalentie-voorspellingen, vooral nabij de grenzen.
De voorgestelde shrinkage-geregulariseerde log-ratio representatie de kloof overbrugt tussen de theoretische vereisten van compositionele data-analyse en de computationele praktische haalbaarheid die vereist is voor machine learning pipelines.
De afgeleide Bayesiaanse formulering een principiële onzekerheidskwantificering mogelijk maakt voor continue dichtheidsgebaseerde methoden, een capaciteit die voorheen ontbrak in de multiclass setting.

De auteurs blijven bescheiden over beperkingen en merken op dat de huidige aanpak vertrouwt op validatie-gebaseerde selectie van shrinkage en bandbreedte parameters, en dat een vollediger Bayesiaanse behandeling van deze hyperparameters een openstaande richting is. Ze erkennen ook dat de methode momenteel specifiek is voor label shift, waarbij varianten voor covariate shift aan toekomstig werk zijn overgelaten.