Doubly robust nearest neighbors in factor models

In het uitgestrekte landschap van moderne data is informatie zelden compleet. Of het nu gaat om het volgen van de gezondheid van een patiënt over maanden heen, het voorspellen van wat een klant als volgende zou kunnen kopen, of het begrijpen van hoe een product presteert in verschillende regio's, onderzoekers worden vaak geconfronteerd met een matrix van getallen met aanzienlijke hiaten. Sommige invoer ontbreekt omdat een sensor faalde, een gebruiker een enquête oversloeg, of een behandeling niet werd toegepast. De uitdaging is om deze gaten met voldoende nauwkeurigheid in te vullen om betrouwbare beslissingen te kunnen nemen. Om dit te doen, vertrouwen statistici vaak op het idee dat de wereld wordt beheerst door verborgen patronen. Ze gaan ervan uit dat de data die we zien, gevormd wordt door een paar onderliggende krachten—zoals een algemene voorkeur van een gebruiker of een speciftheid van een bepaald tijdstip—die zich door de dataset herhalen. Als we deze verborgen patronen kunnen vinden, kunnen we raden wat de ontbrekende getallen zouden moeten zijn.

Decennialang was een populaire manier om deze gissingen te maken het zoeken naar "buren". Als je wilt weten wat een specifieke gebruiker van een product zou vinden, kijk je naar andere gebruikers die zeer vergelijkbaar zijn met hen en zie je wat die buren leuk vonden. Dit is de logica van de dichtstbijzijnde buren (nearest neighbors). Echter, deze methode heeft een fataal gebrek: het werkt alleen als je daadwerkelijk een goede buur kunt vinden. Als de gebruiker in kwestie uniek is, of als de tijdsperiode ongebruikelijk is, faalt de methode omdat er niemand is die vergelijkbaar genoeg is om te kopiëren. Het nieuwe werk van Raaz Dwivedi en zijn collega's pakt deze kwetsbaarheid aan door een slimmere manier te creëren om twee verschillende soorten zoekopdrachten naar buren te combineren. In plaats van te vertrouwen op slechts één type gelijkenis, slaagt hun nieuwe methode, genaamd Doubly Robust Nearest Neighbors, zolang er ofwel een vergelijkbare gebruiker ofwel een vergelijkbare tijdsperiode beschikbaar is. Als beide aanwezig zijn, wordt de methode zelfs nog nauwkeuriger en biedt het een niveau van precisie dat voorheen onbereikbaar was.

De onderzoekers werkten met een specifieke wiskundige puzzel bekend als matrix completion (matrix-volledigheid), waarbij het doel is om een volledige grid van data te reconstrueren uit een verspreide collectie geobserveerde punten. Ze richtten zich op een scenario waarin de data wordt gegenereerd door een verborgen functie die twee sets factoren mengt: één set die de "eenheden" vertegenwoordigt (zoals mensen of producten) en een andere die "tijd" vertegenwoordigt (zoals dagen of uren). In deze opstelling wordt de waarde op elk specifiek snijpunt bepaald door hoe de verborgen eigenschappen van de eenheid interageren met de verborgen eigenschappen van de tijd. De standaardbenadering omvat twee afzonderlijke strategieën. De eerste, genaamd unit-nearest neighbors, zoekt naar andere rijen in de data die lijken op de doelrij. De tweede, genaamd time-nearest neighbors, zoest naar andere kolommen die lijken op de doelkolom. Beide strategieën werken goed wanneer de data dichtbevolkt is met vergelijkbare patronen, maar ze hebben moeite wanneer de data schaars is of wanneer het doelwit een uitschieter is.

Het team realiseerde zich dat deze twee strategieën niet wederzijds uitsluitend waren, maar gecombineerd konden worden om elkaars zwaktes te dekken. Ze ontwikkelden een nieuwe estimator die effectief twee vragen tegelijk stelt: "Heb ik een vergelijkbare gebruiker?" en "Heb ik een vergelijkbare tijd?". Als het antwoord op een van beide vragen ja is, produceert de nieuwe methode een betrouwbare schatting. Dit is wat ze bedoelen met "doubly robust" (dubbel robuust). Het is robuust tegen het falen van de eerste strategie zolang de tweede werkt, en vice versa. De onderzoekers bewezen wiskundig dat als beide strategieën goede buren vinden, de nieuwe methode niet alleen hun resultaten middelt, maar hun sterktes vermenigvuldigt. Dit leidt tot een dramatische verbetering in nauwkeurigheid, waarbij de foutmarge aanzienlijk meer wordt verminderd dan wat beide methoden alleen zouden kunnen bereiken. In technische termen vertaalt deze verbetering zich naar een bijna kwadratische reductie in fout, wat betekent dat de schatting veel scherper wordt met zeer weinig extra data.

Om hun theorie te verifiëren, voerden de onderzoekers uitgebreide simulaties uit met synthetische data die realistische scenario's nabootsten, inclusief zowel eenvoudige lineaire relaties als complexere, niet-lineaire relaties. Ze testten hun nieuwe methode tegen de traditionele unit-nearest neighbors, time-nearest neighbors en andere standaard matrix completion algoritmen. De resultaten waren duidelijk: de nieuwe methode presteerde consequent beter dan de anderen. In gevallen waar de data werd gegenereerd door een eenvoudige lineaire regel, verminderde de nieuwe methode de fout met een factor die meegroeide met de grootte van de dataset, waarmee het de prestaties van de oudere methoden ver overtrof. Zelfs in complexere scenario's waar de relaties tussen factoren niet-lineair waren, behield deze nieuwe aanpak een aanzienlijk voordeel, waarbij het vaak de beste van de traditionele methoden evenaarde of versloeg terwijl het hun slechtste scenario's vermeed.

Het team paste hun methode ook toe op een real-world dataset van een mobiele gezondheidscлинаal trial genaamd HeartSteps. In deze studie droegen deelnemers activiteitstrackers en ontvingen zij willekeurige meldingen om fysieke activiteit aan te moedigen. Het doel was om te schatten hoeveel stappen een deelnemer in een uur zou zetten als hij een melding zou ontvangen versus als hij dat niet zou doen, zelfs voor momenten waarop die specifieke conditie niet werd waargenomen. De data was van nature schaars omdat meldingen willekeurig werden verzonden. Wanneer de onderzoekers hun nieuwe Doubly Robust Nearest Neighbors-methode gebruikten om deze hiaten in te vullen, waren de schattingen nauwkeuriger dan die geproduceerd door de standaardmethoden. De foutverdeling was compacter, wat betekende dat de gissingen consistent dichter bij de werkelijke waarden lagen. Dit toonde aan dat de methode niet alleen in theorie of op computergegenereerde getallen werkt, maar ook op rommelige, echte data waar ontbrekende informatie de norm is.

Een belangrijk inzicht uit het onderzoek was de afweging die betrokken was bij de verwerking van de data. Om hun wiskundige garanties te bewijzen, splitsten de onderzoekers de data aanvankelijk in aparte brokken om een specif kind van statistische bias te vermijden. Echter, in hun praktische experimenten ontdekten ze dat het gebruiken van de volledige dataset zonder deze te splitsen, eigenlijk betere resultaten opleverde. Hoewel het splitsen van de data hielp bij het theoretische bewijs, verminderde het de hoeveelheid beschikbare informatie om buren te vinden, wat de ruis in de schatting vergrootte. In de praktijk woog het voordeel van het hebben van meer data om gelijkenissen te vinden zwaarder dan het theoretische risico op bias, wat suggereert dat voor real-world toepassingen het gebruik van alle beschikbare informatie vaak de superieure keuze is.

De implicaties van dit werk reiken verder dan alleen het invullen van ontbrekende getallen. Het vermogen om betrouwbare schattingen te maken, zelfs wanneer data schaars of heterogeen is, is cruciaal voor velden zoals gepersonaliseerde geneeskunde en gerichte advertenties. In deze velden worden beslissingen vaak genomen voor individuen die uniek zijn of voor situaties die nog niet eerder zijn gezien. Als een methode faalt omdat er geen perfecte match gevonden kan worden, kunnen de gevolgen slechte aanbevelingen of ineffectieve behandelingen zijn. Door te garanderen dat het schattingsproces robuust blijft, zelfs wanneer één type gelijkenis ontbreekt, biedt deze nieuwe aanpak een vangnet voor besluitvorming. Het stelt systemen in staat om te leren van de data die wel beschikbaar is, in plaats van te falen omdat de data niet perfect gestructureerd is.

De onderzoekers merkten ook op dat hun aanpak uitgebreid kan worden naar complexere datastructuren, zoals driedimensionale tensoren, die mogelijk eenheden, tijd en een derde factor zoals een specifieke interventie of locatie omvatten. De logica van het combineren van meerdere bronnen van gelijkenis om een robuuste schatting te creëren, kan daar ook worden toegepast, wat potentieel kan leiden tot "triply robust" methoden. Dit suggereert een bredere weg vooruit voor statistische inferentie, waarbij de focus verschuift van het vinden van één perfecte match naar het intelligent combineren van meerdere imperfecte bronnen van informatie. Dit werk is een demonstratie dat door het heroverwegen van hoe we eenvoudige, intuïtieve ideeën zoals "het vinden van een buur" combineren, we instrumenten kunnen bouwen die veel veerkrachtiger en nauwkeuriger zijn dan de som der delen.

Uiteindelijk biedt dit artikel een praktische oplossing voor een veelvoorkomend probleem: hoe maak je zin van onvolledige informatie. Het laat zien dat we niet hoeven te wachten op perfecte data of een perfecte match om een goede gok te doen. Door te erkennen dat er verschillende soorten gelijkenissen bestaan en te leren deze samen te gebruiken, kunnen we modellen bouwen die betrouwbaarder zijn in het licht van onzekerheid. De methode is eenvoudig in haar logica maar krachtig in haar uitvoering, en biedt een nieuwe standaard voor hoe we omgaan met ontbrekende data in een wereld die steeds meer wordt gedreven door grote, complexe datasets.