Coherence, charity and triangulation in statistical modelling
Dit artikel bekritiseert traditionele Bayesiaanse onderscheidingen door de filosofie van radicale interpretatie van Donald Davidson toe te passen om te betogen dat statistische modellering beschouwd moet worden als een verenigd geloofssysteem dat wordt beheerst door de beperkingen van coherentie, welwillendheid en triangulatie, waardoor praktijken zoals priori-elicitatie en modelcontrole worden geherformuleerd als inspanningen om overtuigingen af te stemmen op gedeeld menselijk begrip en de werkelijkheid.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De Onzichtbare Kaart en de Gedeelde Wereld
Stel je voor dat je probeert te navigeren door een stad die je nog nooit hebt bezocht. Je hebt een kaart, maar de kaart is niet de stad zelf; het is een verzameling symbolen, lijnen en kleuren die de straten, parken en gebouwen vertegenwoordigen. In de wereld van de statistiek wordt deze kaart een "model" genoemd, en de stad is de "data" die we verzamelen uit de echte wereld. Al een lange tijd debatteren wetenschappers en wiskundigen over de relatie tussen de kaart en de stad. Sommigen dachten dat de stad een vaste, objectieve realiteit was die wachtte om gemeten te worden, en dat de kaart slechts een hulpmiddel was dat we gebruikten om deze te kopiëren. Anderen dachten dat de kaart volledig in ons hoofd zat, een subjectieve gok die niets te maken had met de echte straten buiten.
Dit artikel duikt in dat debat, specifief binnen het vakgebied van de Bayesiaanse statistiek, een manier van denken waarbij kansberekening wordt gezien als een "mate van overtuiging". In plaats van te vragen: "Wat is de ware, onveranderlijke kans op regen?", vraagt het Bayesiaanse denken: "Hoe sterk geloof ik dat het gaat regenen, gegeven wat ik weet?" Het artikel daagt het idee uit dat er een harde muur bestaat tussen onze interne overtuigingen (de kaart) en de externe wereld (de stad). Het suggereert dat we de twee niet echt kunnen scheiden, omdat onze "data" al gevormd is door het "model" dat we gebruiken om ernaar te kijken. Om dit begrijpelijk te maken, gebruikt de auteur drie leidende principes: Coherentie (je kaart moet intern logisch zijn, zoals een puzzel waarbij alle stukjes passen), Charity (welwillendheid: je moet ervan uitgaan dat de kaarten van anderen grotendeels juist zijn, zodat je met hen kunt communiceren) en Triangulatie (je hebt minstens twee mensen nodig die naar hetzelfde kijken vanuit verschillende hoeken om te ontdekken waar de echte stad zich bevindt).
Het Grote Idee van het Papier: Het is Eén Groot Geloofssysteem
In dit artikel betoogt David Sumpter dat we moeten stoppen met het zien van statistiek als een spel van het "bijwerken" van een model met nieuwe data, zoals het in een emmer gieten van water. In plaats daarvan suggereert hij dat ons hele geloofssysteem—ons model, onze data en onze voorspellingen—één groot, onderling verbonden web is. Hij gebruikt een lopend voorbeeld van een voetbalwedstrijd om te laten zien hoe dit werkt. Stel je drie mensen voor die naar dezelfde wedstrijd kijken: Joe, die elke schot opschrijft; Jen, die op haar telefoon alleen de score en het aantal schoten ziet; en Jane, die nog nooit een wedstrijd heeft gezien, maar jarenlang heeft gehoord dat het team ongeveer één doelpunt scoort voor elke tien schoten.
Het artikel laat zien dat voor Joe, Jen en Jane de lijn tussen "data" en "model" vaag is. Joe's ruwe lijst van schoten is data voor hem, maar voor Jane is haar overtuiging dat "het één op tien is" haar data. Jen's voortlopende totalen zijn een mix van beide. De auteur betoogt dat er geen "zuivere" data is die daar buiten in het universum wacht om ontdekt te worden. In plaats daarvan is wat wij data noemen, slechts de overgebleven stukjes van de modellen die we al hebben gebouwd. Wanneer we naar een voetbaldoelpoging kijken, hebben we al besloten wat een "schot" is en wat een "doelpunt" is, nog voordat we het getal opschrijven.
Het artikel sluit expliciet uit dat de stelling van Bayes een magische machine is waarbij data van buitenaf komt en een model van binnenuit bijwerkt. De auteur suggereert dat dit een misverstand is. In plaats daarvan is de stelling van Bayes simpelweg een regel die beschrijft hoe de verschillende onderdelen van je eigen geloofssysteem met elkaar samenhangen. Het is als een regel in een videogame die zegt: "Als je dit aantal munten en dit aantal levens hebt, dan is je score X." Het spel "bijwerkt" je score niet van buitenaf; de score is simpelweg een relatie tussen de munten en levens die je al hebt. Het artikel suggereert dat echt leren niet gebeurt door een enkel getal aan te passen, maar door te beseffen dat je hele kaart fout is en een nieuwe kaart te bouwen.
Om dit op te lossen, stelt het artikel voor dat we twee nieuwe regels aan onze statistische kaarten moeten toevoegen, bovenop de gebruikelijke regel van "coherentie" (erop letten dat de wiskunde zichzelf niet tegenspreekt). De eerste is Charity (welwillendheid). Dit betekent dat wanneer we een model bouwen, we moeten aannemen dat anderen grotendeels gelijk hebben en dat ons model voor hen zinvol moet zijn. Als jij een manier uitvindt om voetbaldoelpunten te tellen die niemand anders begrijpt, is je model niet "gedurfder"; het is gewoon nutteloos. De tweede regel is Triangulatie. Dit betekent dat we onze overtuigingen moeten toetsen aan andere mensen en de gedeelde wereld. Net zoals twee mensen die een berg van verschillende kanten bekijken het eens kunnen worden over waar de top ligt, moeten statistici hun modellen vergelijken met die van anderen en met de echte wereld om er zeker van te zijn dat ze niet zomaar dingen verzinnen.
Het artikel gebruikt het verhaal van Jen, de dochter, om te laten zien hoe dit in de praktijk werkt. Ze merkte iets op wat haar vader (Joe) over het hoofd had gezien: het leek erop dat het team vaker miste direct nadat ze een doelpunt hadden gescoord. Ze paste niet alleen een getal "bij"; ze realiseerde zich dat haar hele manier van naar het spel kijken een aanpassing nodig had. Ze gebruikte de gedeelde data (de aantekeningen van haar vader) en haar eigen observaties om een beter geloofssysteem op te bouwen. De auteur suggereert dat de beste statistici—zoals de "superforecasters" die wereldgebeurtenissen voorspellen—dit het beste doen. Zij houden zich niet alleen aan hun eigen interne logica; ze controleren hun overtuigingen voortdurend tegen wat anderen denken en wat er daadwerkelijk in de wereld gebeurt.
Het artikel concludeert met een speelse draai aan een beroemde uitspraak van statisticus George Box, die ooit zei: "Alle modellen zijn fout, maar sommige zijn nuttig." De auteur suggereert dat we dit moeten omdraaien: "De meeste modellen zijn correct, daarom zijn ze nuttig." Het idee is dat als een model nuttig is, het al grotendeels juist moet zijn over de wereld. Het is geen kapotte kaart die we proberen te repareren; het is een kaart die al behoorlijk goed is, en ons werk is om hem nog beter te maken door naar anderen te luisteren en samen naar de wereld te kijken. Het artikel beweert niet dat het de statistiek heeft opgelost of een nieuwe wiskundige wet heeft bewezen. In plaats daarvan suggereert het dat door over onze overtuigingen te denken als een gedeeld, welwillend en getrianguleerd systeem, we betere wetenschap kunnen bedrijven en betere voorspellingen kunnen doen. Het is een oproep om te stoppen met het behandelen van onze modellen als geïsoleerde eilanden en te beginnen met het behandelen van onze modellen als bruggen tussen ons en de wereld.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.