Geometric mean-based pairwise comparison method with the reference values -- statistical approach

Stel je voor dat je de aanvoerder bent van een schoolclub en je moet de drie beste activiteiten voor het komende jaar kiezen. Je vraagt je vrienden om te stemmen, maar in plaats van alleen een favoriet te kiezen, vraag je hen om elke activiteit met elke andere te vergelijken. "Is 'Wandelen' twee keer zo leuk als 'Bakken'?" "Is 'Coderen' drie keer beter dan 'Kunst'?" Deze methode van het in paren vergelijken van zaken is een klassiek instrument dat experts gebruiken om moeilijke beslissingen te nemen, van het kiezen van een nieuwe burgemeester tot het selecteren van de beste medische behandeling. Het is alsocht het proberen te bepalen van de exacte hoogte van een berg door telkens slechts de helling tussen twee bomen te meten.

Het probleem is dat mensen geen perfecte rekenmachines zijn. De ene vriend kan zeggen dat Wandelen leuker is dan Bakken, maar dan zeggen dat Bakken beter is dan Coderen, en Coderen weer beter is dan Wandelen. Dat is een logische lus, of "inconsistentie". Decennialang hebben wiskundigen manieren gevonden om deze lussen glad te strijken en een definitieve rangschikking te vinden, maar ze behandelden de fouten meestal als rommelige ruis die genegeerd moest worden. Ze konden je wel vertellen wat de rangschikking was, maar ze konden niet gemakkelijk vertellen hoe zeker ze ervan waren. Het was als het krijgen van een weersvoorspelling die zegt "Het gaat regenen" zonder te vermelden of er een kans van 51% of 99% is. Dit artikel stapt in die kloof door die rommelige menselijke vergelijkingen niet alleen als fouten te behandelen, maar als datapunten in een statistisch experiment, waardoor we de zekerheid in onze beslissingen kunnen meten zoals een wetenschapper de zekerheid in een laboratoriumresultaat meet.

Het Grote Idee van het Papier: Gokwerk Veranderen in een Wiskundig Lab

De auteurs van dit papier, Konrad Kułakowski, Kamil Pustelnik en Jacek Szybowski, kijken naar een specifieke besluitvormingsmethode genaamd "Heuristic Rating Estimation" (HRE). Stel je voor dat je een lijst hebt van onbekende items (zoals nieuwe videogames) en een paar bekende items (zoals je favoriete klassieke game, waarvan je weet dat het een 10/10 is). Je vraagt een expert om de nieuwe games te vergelijken met de klassiekers en met elkaar. Het doel is om het "gewicht" of de score van de nieuwe games te bepalen.

Traditioneel gebeurt dit met behulp van een geometrisch gemiddelde (een specifiek type gemiddelde dat goed omgaat met ratio's). De auteurs realiseerden zich iets briljants: dit hele proces is in feite een lineair regressieprobleem. Dat is een chique manier om te zeggen dat het dezelfde wiskunde is die wordt gebruikt om een "lijn van best passende curve" te trekken door een spreidingsdiagram van punten.

Hier is de analogie: Stel je voor dat je probeert het gewicht van verschillende mysterieuze dozen te raden. Je hebt een paar bekende gewichten (referentiewaarden) op een weegschaal. Je weet de mysterieuze gewichten niet, maar je hebt een vriend die aanwijzingen geeft zoals: "Doos A is ongeveer half zo zwaar als Doos B," of "Doos C is twee keer zo zwaar als het referentiegewicht van 5 kg." Je vriend is niet perfect; soms gokt hij "twee keer zo zwaar" terwijl het eigenlijk "1,9 keer" is.

Het papier suggereert dat we deze gokjes niet alleen moeten middelen. In plaats daarvan moeten we elke enkele vergelijking behandelen als een "meting" in een wetenschappelijk experiment. De "onbekende gewichten" zijn de variabelen die we proberen op te lossen, en de "gokjes van de vriend" zijn onze datapunten. Door de instrumenten van de statistiek te gebruiken (specifiek de methode van de kleinste kwadraten), kunnen we de meest waarschijnlijke gewichten voor de mysterieuze dozen vinden.

Wat Ze Vonden: Betrouwbaarheidsintervallen en "Gelijkspel"-clusters

De echte magie van dit papier is niet alleen het vinden van de gewichten; het is het weten hoeveel je ze kunt vertrouwen. Omdat ze het probleem als een statistisch experiment behandelden, konden ze zaken berekenen die voorheen onmogelijk waren:

1. Betrouwbaarheidsintervallen: Net zoals een peiling kan zeggen "50% steun, plus of min 3%", kan deze methode je vertellen dat de score van een game waarschijnlijk tussen 0,15 en 0,25 ligt. Als de marge groot is, weet je dat de data onbetrouwbaar is. Als de marge klein is, kun je de rangschikking vertrouwen.
2. Waarschijnlijkheid van Rangschikkingsoverdraaiing: Dit is het meest opwindende deel. De auteurs hebben de exacte waarschijnlijkheid berekend dat de volgorde van twee items correct is. Bijvoorbeeld, ze vonden voor twee specifieke items in hun voorbeeld dat er een kans van 99,46% was dat het ene beter was dan het andere. Maar voor een ander paar was die kans slechts 58,18%. Dat is nauwelijks beter dan een muntje opgooien!
3. De "Gelijkspel"-oplossing: Dit is waar het papier echt praktisch wordt. Als de waarschijnlijkheid dat Item A beter is dan Item B laag is (bijvoorbeeld onder de 75%), suggereren de auteurs dat we niet een rangschikking moeten afdwingen. In plaats daarvan moeten we ze groeperen in een "gelijkspel-cluster". Stel je een race voor waarbij twee hardlopers zo dicht bij elkaar liggen dat de camera bij de finishlijn niet kan zien wie er heeft gewonnen. In plaats van een valse winnaar te verklaren, zeg je: "Ze hebben gelijk gespeeld." Het papier stelt een algoritme voor om deze onzekere items automatisch samen te groeperen en ze een gemiddelde score te geven. Dit voorkomt dat de besluitvormer een gedurfde keuze maakt op basis van zwak bewijs.

Wat Ze Niet Beweren (en Wat Ze Uitsluiten)

Het is belangrijk om op te merken wat dit papier niet doet. Het beweert niet het menselijk brein te repareren of experts te laten stoppen met het maken van fouten. De "ruis" of inconsistentie in de data is er nog steeds; het papier meet het alleen beter.

De auteurs beargumenteren expliciet tegen het idee dat we de onzekerheid simpelweg moeten negeren of uitsluitend moeten vertrouwen op traditionele "inconsistentie-indices" (oude wiskundige instrumenten die één getal geven om aan te geven hoe rommelig de data is). Ze laten zien dat één enkel getal niet genoeg is, omdat twee verschillende paren items dezelfde "rommeligheidsscore" kunnen hebben, terwijl het ene paar duidelijk gescheiden kan zijn (makkelijk te rangschikken) en het andere bijna identiek (moeilijk te rangschikken). Hun nieuwe methode legt zowel de "rommeligheid" als de "afstand" tussen de items vast.

Ze beweren ook niet dat dit een wondermiddel is voor elke situatie. Hun resultaten zijn gebaseerd op wiskundige bewijzen en simulaties (zoals het voorbeeld met 7 alternatieven waarmee ze werkten). Ze suggereren dat in groepsverband, waar meerdere experts data aanleveren, deze methode nog krachtiger kan zijn omdat het de "metingen" van iedereen kan combineren om een duidelijker beeld te krijgen, zelfs als elke expert enkele vergelijkingen heeft gemist.

De Kernboodschap

In eenvoudige woorden neemt dit papier de rommelige, subjectieve wereld van "Ik vind dit beter dan dat" en verandert het in een rigoureuze, op data gebaseerde wetenschap. Het geeft ons een manier om te zeggen: "We zijn voor 99% zeker dat A beter is dan B, maar we zijn slechts 58% zeker over C en D, dus laten we C en D als een gelijkspel beschouwen." Het verandert een rigide lijst van rangschikkingen in een flexibele, eerlijke representatie van wat we daadwerkelijk weten, waardoor het besluitvormers helpt om de valkuil te vermijden van het doen alsoverwijken dat ze zekerder zijn dan ze werkelijk zijn.