📊 statistics

A Jensen-Shannon divergence based $k$ -- $NN$ algorithm for missing value imputation in compositional data

Dit artikel stelt een nieuwe niet-parametrische $k$ -NN-algoritme voor voor het imputeren van ontbrekende waarden in compositional data dat gebruikmaakt van de Jensen-Shannon-divergentie en het Fréchet-middelpunt om om te gaan met nulwaarden en hyperparameters zelf aan te passen, waarbij het superieure nauwkeurigheid en rekenkundige efficiëntie toont in vergelijking met bestaande methoden.

Oorspronkelijke auteurs: Michail Tsagris, Connie Stewart, Abdulaziz Alenazi

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Michail Tsagris, Connie Stewart, Abdulaziz Alenazi

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef-kok bent die probeert een geheim familierecept na te maken. Je hebt een stapel receptkaarten, maar sommige zijn gescheurd of hebben ontbrekende ingrediënten vermeld. Je doel is om te raden wat die ontbrekende ingrediënten zijn, zodat je de gerechten kunt afmaken.

In de wereld van datawetenschap heet dit imputatie (invullen van de ontbrekende stukjes). Maar dit artikel gaat over een zeer specifiek, lastig type recept: Compositional Data (samenstellingsdata).

Wat is "Compositional Data"?

Denk aan een taartdiagram. De hele taart is altijd gelijk aan 100%. Als je een stukje "Appels" en een stukje "Sinaasappels" hebt, en je voegt meer Appels toe, dan moet het Sinaasappelstukje kleiner worden om het totaal op 100% te houden.

Dit is anders dan een normale boodschappenlijst, waar je 5 appels en 10 sinaasappels kunt hebben zonder dat het ene het andere beïnvloedt. Bij compositional data zijn de onderdelen vergrendeld in een dans; als er één beweegt, moeten de anderen zich aanpassen. Dit maakt het invullen van ontbrekende getallen zeer moeilijk, omdat je niet zomaar een getal kunt raden; je moet een getal raden dat perfect past bij de hele taart.

Het probleem met oude methoden

Jarenlang probeerden wetenschappers ontbrekende stukjes in deze "taartdiagrammen" te repareren met een methode genaamd k-NN (k-Nearest Neighbors).

Hoe het werkt: Als je een recept hebt waarbij "Zout" ontbreekt, kijkt de computer naar andere recepten die erg lijken op het jouwe. Het ziet wat die vergelijkbare recepten voor zout gebruikten en raadt dat jij waarschijnlijk iets vergelijkbaars hebt gebruikt.
De tekortkoming: De oude manier om "gelijkenis" te meten (de Aitchison-afstand) is als proberen de afstand tussen twee steden te meten met een liniaal op een platte kaart, terwijl de aarde rond is. Het werkt soms redelijk, maar het faalt als je recept nul ingrediënten bevat (bijvoorbeeld "Geen Olijven"). In de oude wiskunde kun je de afstand niet berekenen als een getal nul is, waardoor het hele systeem crasht.

De nieuwe oplossing: Het "Jensen-Shannon"-kompas

De auteurs van dit artikel bouwden een nieuw, slimmer kompas om gelijkenis te meten. Ze noemen het de Jensen-Shannon Divergentie (JSD).

De analogie: Stel je voor dat je twee smoothies vergelijkt. De oude methode kan in de war raken als de ene smoothie nul aardbeien heeft. De nieuwe JSD-methode is als een slimme blender die zegt: "Oké, je hebt nul aardbeien, maar je hebt veel bananen. Laten we het smaakprofiel van het hele mengsel vergelijken, en negeren dat er één ingrediënt ontbreekt."
Het voordeel: Deze nieuwe methode werkt perfect, zelfs als de data nullen bevat. Het crasht niet; het past zich gewoon aan.

De "Magische Draaiknop" (het Fréchet-gemiddelde)

De auteurs stopten daar niet mee. Ze voegden een "Magische Draaiknop" (een parameter genaamd $\alpha$ ) toe aan hun algoritme.

De analogie: Stel je voor dat je de meningen van je buren middelt om het ontbrekende ingrediënt te raden.
- Als je gewoon het Arithmetisch Gemiddelde neemt (het standaardgemiddelde), ben je als een strenge leraar: "Iedereen krijgt evenveel gewicht."
- Als je het Meetkundig Gemiddelde gebruikt, ben je als een voorzichtige redacteur: "We negeren de extreme uitschieters."
- Het Fréchet-gemiddelde is als een flexibele mediator. De "Magische Draaiknop" ( $\alpha$ ) stelt je in staat om te schuiven tussen streng zijn, voorzichtige zijn, of ergens tussenin. De computer kan deze draaiknop automatisch afstellen om de perfecte balans te vinden voor je specifieke data.

De "Zelfaanpassende" functie

Soms is ontbrekende data niet willekeurig. Misschien ontbreekt "Zout" alleen bij pittige recepten, terwijl "Suiker" alleen ontbreekt bij zoete recepten.

De auteurs creëerden een Adaptieve versie van hun tool. In plaats van één regel voor het hele kookboek te gebruiken, kijkt deze versie naar hoe de data ontbreekt en verandert zijn strategie voor elk specifiek patroon. Het is alsof je een andere chef-kok hebt voor elk type gerecht.

Wat hebben ze gevonden?

Het team testte hun nieuwe tool tegen de oude methoden met real-world data, zoals:

Wijnchemie: Analyse van zuren in Tsjechische wijnen.
Rivierwater: Controle van chemische niveaus in Spaanse rivieren.
Vissedieet: Kijken naar vetzuren in vissen (waarbij sommige vissen bepaalde dingen simpelweg niet eten, wat "nul"-waarden creëert).
Landbouwgewassen: Uitzoeken hoeveel van specifieke gewassen er in Griekse regio's zijn geteeld.

De resultaten:

Nauwkeurigheid: Hun nieuwe methode was consequent nauwkeuriger dan de oude. Het raakte de ontbrekende getallen dichter bij de waarheid.
Snelheid: Het was veel sneller. In sommige tests duurde de oude methode 12 tot 25 keer langer om hetzelfde werk te doen.
Nullen: Het verwerkte "nul"-waarden zonder problemen, terwijl de oude methoden worstelden of faalden.

De conclusie

De auteurs bouwden een nieuwe, snellere en flexibelere manier om de ontbrekende stukjes van "taartdiagram"-data in te vullen. Het werkt zelfs als sommige stukjes volledig leeg zijn (nullen), en het gebruikt een slimme "Magische Draaiknop" om zijn eigen instellingen aan te passen voor de beste resultaten. Hoewel de "zelfaanpassende" functie cool is, ontdekten ze dat soms de eenvoudigere versie net zo goed is en minder gecompliceerd.

Opmerking: Het artikel richt zich strikt op de wiskunde en de simulatieresultaten. Het beweert niet dat dit een medische genezing is of een specifiek hulpmiddel voor toekomstig klinisch gebruik, maar eerder een statistische verbetering voor het verwerken van data in gebieden zoals economie, ecologie en chemie.

Technische Samenvatting: Een op Jensen-Shannon-divergentie gebaseerd k–NN-algoritme voor het imputeren van ontbrekende waarden in compositionele data

1. Probleemstelling

Compositionele data, gedefinieerd als niet-negatieve multivariate vectoren die optellen tot een constante (doorgaans 1), bevinden zich in een standaard simplex-steekproefruimte ( $S^{D-1}$ ). Ontbrekende waarden in dergelijke data vormen unieke uitdagingen, omdat standaard imputatietechnieken vaak falen in het respecteren van de restrictieve geometrie van de simplex of log-ratio-transformaties vereisen die geen omgang kunnen met nulwaarden.

Bestaande methoden, zoals het k–NN-algoritme voorgesteld door Hron et al. (2010), vertrouwen op de Aitchison-afstand. De Aitchison-afstand vereist echter log-ratio-transformaties, waardoor deze niet toepasbaar is op datasets met nullen (ofwel afgerond of structureel). Bovendien gaan traditionele benaderingen vaak uit van een specifieke parametrische structuur of vereisen ze iteratieve regressiemodellen die computatief zwaar kunnen zijn. Dit artikel adresseert de behoefte aan een flexibele, niet-parametrische imputatiemethode die:

Rechtstreeks op de simplex opereert zonder log-ratio-transformaties.
Op natuurlijke wijze omgaat met nulwaarden.
Rekenkundige efficiëntie en flexibiliteit biedt bij het hanteren van patronen van ontbrekende waarden.

2. Methodologie

De voorgestelde oplossing is een nieuw JSD k–NN-algoritme, uitgebreid met een Fréchet-gemiddelde generalisatie en een adaptief mechanisme.

2.1 Afstandsmaat: Jensen-Shannon-divergentie (JSD)

In plaats van de Aitchison-afstand maakt het algoritme gebruik van de Jensen-Shannon-divergentie (JSD) om afstanden tussen compositionele vectoren te meten.

Definitie: Voor twee composities $x$ en $y$ geldt: $JSD(x, y) = \sum_{j=1}^D \left( x_j \log \frac{2x_j}{x_j+y_j} + y_j \log \frac{2y_j}{x_j+y_j} \right)$ .
Voordelen: In tegenstelling tot de Aitchison-afstand behandelt JSD nulwaarden op natuurlijke wijze (aangezien $0 \log 0 = 0$ ), waardoor de noodzaak tot strategieën voor het vervangen van nullen wordt geëlimineerd. Het is een metriek (de vierkantswortel voldoet aan de driehoeksongelijkheid) en is begrensd.

2.2 Het JSD k–NN-algoritme

Het kernalgoritme volgt een niet-parametrische procedure van zes stappen:

Selectie: Kies het aantal dichtstbijzijnde buren, $k$ .
Scheiding: Split de data op in incomplete vectoren ( $X_M$ ) en complete vectoren ( $X_O$ ).
Normalisatie: Normaliseer voor een incomplete vector de waargenomen componenten zodat ze optellen tot 1. Normaliseer op dezelfde wijze de corresponderende componenten in de complete vectoren.
Berekening van afstand: Bereken de JSD tussen de genormaliseerde waargenomen componenten van de incomplete vector en alle complete vectoren.
Selectie van buren: Identificeer de $k$ complete vectoren met de kleinste JSD-afstanden.
Imputatie: Bereken het gemiddelde van de $k$ dichtstbijzijnde buren. De ontbrekende componenten worden geschat door het rekenkundig gemiddelde te nemen van de corresponderende componenten in de $k$ buren, deze te normaliseren en ze te schalen met de som van de waargenomen componenten in de oorspronkelijke incomplete vector.

2.3 Uitbreiding 1: JSD $\alpha$ –k–NN (Fréchet-gemiddelde)

Om de flexibiliteit te vergroten, wordt het rekenkundig gemiddelde gebruikt in Stap 5 vervangen door het steekproef-Fréchet-gemiddelde zoals gedefinieerd door Tsagris et al. (2011):
$\hat{\mu}_\alpha(x) = C \left\{ \left( \sum_{i=1}^n \frac{x_{ij}^\alpha}{\sum_{k=1}^D x_{kj}^\alpha} \right)^{1/\alpha} \right\}_{j=1,\dots,D}$
waarbij $\alpha$ een instelbare hyperparameter is.

Eigenschappen: Als $\alpha \to 0$ , convergeert het naar het meetkundig gemiddelde; bij $\alpha = 1$ is het het rekenkundig gemiddelde. Dit stelt het algoritme in staat zich aan te passen aan de verdeling van de data zonder log-ratio-transformaties.

2.4 Uitbreiding 2: Adaptief JSD $\alpha$ –k–NN

Omdat patronen van ontbrekende waarden kunnen variëren (bijvoorbeeld ontbrekendheid gerelateerd aan specifieke grootteordes van componenten), stellen de auteurs een adaptieve aanpak voor waarbij de hyperparameters ( $\alpha$ en $k$ ) apart worden afgestemd voor elk distinct patroon van ontbrekendheid dat in de data wordt waargenomen, in plaats van één enkel globaal paar te gebruiken.

2.5 Afstemming van hyperparameters

De optimale waarden voor $k$ en $\alpha$ worden bepaald via een herhaald leave-N-out cross-validatie protocol. De prestatiemaatstaf is de afstand (Aitchison-afstand als er geen nullen aanwezig zijn; JSD als er nullen aanwezig zijn) tussen de ware waarden en de geïmputeerde waarden in de testset.

3. Belangrijkste bijdragen

Nul-tolerante imputatie: De methode is de eerste k–NN-benadering voor compositionele data die geen log-ratio-transformaties vereist, waardoor zowel afgeronde als structurele nullen op natuurlijke wijze worden verwerkt.
Niet-parametrische flexibiliteit: Door gebruik te maken van JSD en het Fréchet-gemiddelde, vermijdt de methode restrictieve parametrische aannames over de datastructuur.
Rekenkundige efficiëntie: Het algoritme is aanzienlijk sneller dan concurrerende op iteratieve regressie gebaseerde methoden (specifiek die in het pakket robCompositions).
Adaptief raamwerk: De invoering van een adaptief mechanisme stelt hyperparameters in staat zich aan te passen aan specifieke patronen van ontbrekendheid, hoewel het artikel opmerkt dat dit rekenkundige complexiteit toevoegt.

4. Resultaten uit simulatiestudies

De auteurs hebben de algoritmen geëvalueerd met behulp van vier real-world datasets: Wijnen (geen nullen), Hydrochemisch (geen nullen), Prooi Vetzuren (bevat nullen en soortenklassen) en FADN (landbouwdata met nullen en scenario's van aggregatie/disaggregatie).

Nauwkeurigheid (geen nullen): Op de datasets Wijnen en Hydrochemisch presteerde de JSD $\alpha$ –k–NN (met optimale $\alpha$ ) respectievelijk 12% en 2% beter dan de standaard JSD k–NN, gemeten aan de hand van de Aitchison-afstand. Beide voorgestelde methoden presteerden beter dan de concurrerende algoritmen van Hron et al. (2010) (rob k–NN, lm, ltsReg).
Nauwkeurigheid (met nullen): Op de dataset Prooi Vetzuren verbeterde de JSD k–NN de prestaties met 22% ten opzichte van de robuuste k–NN (Hron et al., 2010) met gebruik van de Euklidische afstand. De JSD $\alpha$ –k–NN bood een extra verbetering van 3,5%. De adaptieve versie leverde in dit specifieke geval geen verdere winst op.
Disaggregatiescenario: In de FADN-dataset (die de disaggregatie van geaggregeerde gewasdata simuleert) presteerde de JSD k–NN 15% beter dan de robuuste k–NN. De $\alpha$ - en adaptieve uitbreidingen toonden hier geen verdere verbetering.
Rekenkosten: De JSD k–NN was aanzienlijk sneller dan de robuuste k–NN. Snelheidsverhogingsfactoren varieerden van ongeveer 6x tot 25x, afhankelijk van steekproefgrootte en dimensionaliteit. De snelheidswinst was duidelijker bij hogere dimensionaliteit en kleinere steekproefgroottes.

5. Betekenis en claims

Het artikel beweert dat het voorgestelde JSD k–NN-algoritme een robuust, nauwkeurig en rekenkundig efficiënt alternatief biedt voor het imputeren van ontbrekende waarden in compositionele data. De primaire betekenis ligt in het vermogen om nulwaarden te hanteren zonder modificatie, een kritieke beperking van bestaande op log-ratio gebaseerde methoden.

De auteurs concluderen bescheiden dat hoewel de adaptieve JSD $\alpha$ –k–NN-uitbreiding een theoretische verbetering biedt door parameters af te stemmen op patronen van ontbrekendheid, deze niet altijd substantieel de prestaties in de praktijk verbetert. Zij suggereren dat de toegevoegde complexiteit niet in alle gevallen de moeite waard is, met name wanneer patronen van ontbrekendheid schaars zijn. De kern-JSD k–NN en de Fréchet-gemiddelde uitbreiding (JSD $\alpha$ –k–NN) tonen echter consequent superieure nauwkeurigheid en efficiëntie aan in vergelijking met huidige state-of-the-art methoden.

Het werk wordt gepositioneerd als een praktisch instrument voor gebieden zoals ecologie, landbouw en officiële statistieken, waar compositionele data met nullen en ontbrekende waarden veel voorkomen. De auteurs erkennen dat hoewel de methode uitgaat van Missing At Random (MAR), deze niet is beoordeeld onder scenario's van Missing Not At Random (MNAR), die veel voorkomen in officiële statistieken.