Reconciling Bayesian and frequentist approaches to robustness against outliers

De Grote Data-Detective Standoff

Stel je voor dat je een detective bent die een mysterie probeert op te lossen door naar een stapel aanwijzingen te kijken. De meeste aanwijzingen vertellen een duidelijk, consistent verhaal: een verdachte rende naar links, toen naar rechts, en verstopte zich toen in een struik. Maar dan vind je een paar vreemde briefjes. Op de ene staat dat de verdachte naar de maan vloog, een andere beweert dat ze in een broodrooster veranderde. In de wereld van de statistiek worden deze vreemde briefjes outliers (uitschieters) genoemd. Het zijn datapunten die niet in het patroon passen, vaak door een fout of een zeldzame, chaotische gebeurtenis. Als je een rechte lijn probeert te trekken door alle aanwijzingen — inclusief de vliegende broodrooster-aanwijzingen — zal je lijn volledig uit koers worden getrokken en zal je conclusie over het pad van de verdachte onjuist zijn.

Om dit op te lossen, hebben statistici twee belangrijke teams van detectives ontwikkeld: de Bayesianen en de Frequentisten. Beiden willen de gekke briefjes negeren en zich concentreren op het echte verhaal, maar ze gebruiken verschillende gereedschapskisten. De Frequentisten zijn als ingenieurs die een speciale "spons" bouwen die de gekke aanwijzingen opzuigt en ze krimpt totdat ze er niet meer toe doen. De Bayesianen zijn als kunstenaars die de kaart van de wereld opnieuw tekenen om het makkelijker te maken om te accepteren dat vliegende broodroosters kunnen bestaan, maar alleen als de kaart heel zorgvuldig wordt getekend. Een lange tijd dachten deze twee teams dat ze hetzelfde probleem oplosten, maar ze gebruikten eigenlijk kaarten die niet helemaal met elkaar overeenkwamen. Dit artikel gaat over het ontdekken van waarom hun kaarten verschillend waren en hoe ze eindelijk één kaart kunnen tekenen die voor iedereen werkt.

De Botsing van de Kaarten

Het verhaal begint met een eenvoudige vraag: Hoe negeren we de "vliegende-broodrooster"-datapunten zonder de hele puzzel weg te gooien?

Het Frequentistische team heeft een favoriet hulpmiddel genaamd Tukey's biweight. Stel je dit voor als een magische liniaal die, zodra een datapunt te ver van de groep af komt te staan, er simpelweg niet meer om geeft. Als een punt een beetje vreemd is, geeft de liniaal het een klein duwtje. Als het extreem vreemd is (zoals de broodrooster), zegt de liniaal: "Ik ben met jou klaar," en wijst het een gewicht van nul toe. Het is ongelooflijk effectief in het negeren van de ruis. Er is echter een addertje onder het gras: deze magische liniaal volgt niet de strikte regels van de waarschijnlijkheid. Het is wat wiskundigen een "improper" (onjuist/niet-gepast) model noemen. Het is als een recept dat perfect werkt om een heerlijke taart te maken, maar de ingrediënten niet op een manier vermeldt die optelt tot een heel getal.

Het Bayesianische team daarentegen is erg kieskeurig over hun recepten. Zij eisen dat elk model "proper" (gepast) moet zijn, wat betekent dat het de strikte regels van de waarschijnlijkheid moet volgen waarbij alles perfect bij elkaar optelt. Om met uitschieters om te gaan, gebruiken zij heavy-tailed modellen (zondere de Student's t-distributie of de LPTN). Denk aan deze als kaarten met zeer brede, zachte randen. Als een datapunt ver weg is, rekt de kaart zich uit om het te bevatten, maar hoe verder het naar buiten gaat, hoe minder invloed het heeft. Het probleem is dat zelfs de "zwaarste" staarten die deze Bayesianen mogen gebruiken, niet zwaar genoeg zijn om de vliegende broodrooster-briefjes volledig te kunnen negeren. Ze laten nog steeds een beetje van de gekke ruis doorsijpelen in het uiteindelijke antwoord.

De auteurs van dit artikel realiseerden zich dat de Frequentisten een superkrachtig, lichtelijk "illegaal" hulpmiddel gebruikten (de improper Tukey's biweight) waar de Bayesianen niet bij mochten komen. Hierdoor kregen ze, wanneer beide teams naar dezelfde rommelige data keken, verschillende antwoorden. De Frequentisten kregen een schone lijn die de uitschieters perfect negeerde. De Bayesianen, vastgelopen in hun "proper" kaarten, kregen nog steeds een lijn die lichtjes naar de uitschieters werd getrokken.

De Kloof Overbruggen met "General Bayes"

Het artikel stelt een oplossing voor die aanvoelt als een juridische mazen-in-de-wet. De auteurs suggereren dat Bayesianen een nieuw kader moeten adopteren genaamd Generalized Bayes. Dit kader is als een speciale vergunning die het Bayesianische team in staat stelt om de "improper" hulpmiddelen (zoals Tukey's biweight) te gebruiken waar de Frequentisten van houden, zolang ze deze combineren met een "proper" startovertuiging (een prior).

Denk er zo over na: De Bayesianische kunstenaar weigert meestal te schilderen met een penseel dat overal verf druipt (het improper model). Maar met deze nieuwe vergunning kunnen ze de druipende penseel gebruiken als ze eerst een schoon canvas neerleggen (de proper prior). Het resultaat? De verf druipt, maar de uiteindelijke afbeelding is nog steeds een perfect, compleet beeld.

De auteurs testten dit idee met echte gegevens, waaronder een dataset over ratten die door een doolhof rennen en een andere over verzekeringsclaims. In beide gevallen werd de traditionele Bayesianische methode nog steeds uit koers getrokken door de uitschieters. Maar wanneer ze de nieuwe Generalized Bayes-benadering met Tukey's biweight gebruikten, verkregen de Bayesianische resultaten vergelijkbare resultaten als de Frequentistische beoefenaar, en de geschatte regressielijnen waren vrijwel identiek. De uitschieters werden effectief genegeerd en de invloed van de "vliegende broodrooster"-briefjes werd aanzienlijk verminderd.

Wat de Wiskunde Zegt

Het artikel laat niet alleen zien dat dit op een computer werkt; het bewijst het met zware wiskunde. Ze lieten zien dat naarmate de uitschieters steeds verder weg komen te staan (zoals de broodrooster die de diepe ruimte in vliegt), het Bayesianische model dat deze nieuwe methode gebruikt, een staat nadert waarin het stopt met naar hen te luisteren. De wiskunde bewijst dat het model in deze asymptotische limiet "volledig robuust" wordt, wat betekent dat de uitschieters een verwaarloosbaar effect hebben op het uiteindelijke antwoord, mits het aantal uitschieters een bepaalde drempel niet overschrijdt (het breakdown point van de schaalestimator).

Ze hebben ook uitgezocht hoe ze de onzekerheid kunnen kalibreren. Meestal, wanneer je deze "improper" hulpmiddelen gebruikt, is het moeilijk om te weten hoe zeker je van je antwoord moet zijn. De auteurs hebben een manier ontwikkeld om een "temperatuur"-knop (een tempering parameter) aan te passen, zodat de betrouwbaarheidsintervallen (het bereik van waarschijnlijke antwoorden) precies goed zijn — niet te breed, niet te smal. Ze hebben simulaties uitgevoerd met duizenden nep-datasets om aan te tonen dat deze methode betrouwbaar werkt en antwoorden geeft die net zo betrouwbaar zijn als de oude, standaard methoden, maar veel beter zijn in het negeren van de ruis.

De Kernboodschap

De belangrijkste bevinding is dat het gat tussen de twee statistische teams werd veroorzaakt door een verschil in het regelboek: Frequentisten konden "improper" modellen gebruiken om uitschieters perfect te negeren, terwijl Bayesianen dat niet konden. Door het Generalized Bayes-kader te adopteren, kunnen Bayesianen nu dezelfde krachtige hulpmiddelen gebruiken als de Frequentisten. Dit betekent dat of je nu een Frequentist of een Bayesian bent, je nu vergelijkbare, hoogwaardige resultaten kunt krijgen, zelfs wanneer je data vol zit met vliegende broodroosters en gekke briefjes. Het artikel suggereert dat dit niet zomaar een kleine aanpassing is; het is een manier om de twee benaderingen volledig te verzoenen, waardoor iedereen toegang krijgt tot de beste hulpmiddelen voor de klus.