Geometric mean-based pairwise comparison method with the reference values -- statistical approach

Stellen Sie sich vor, Sie sind der Kapitän eines Schulclubs und müssen die drei besten Aktivitäten für das kommende Jahr auswählen. Sie bitten Ihre Freunde um ihre Stimme, aber anstatt nur ein Favorit zu sein, bitten Sie sie, jede einzelne Aktivität gegen jede andere abzuwägen. „Ist Wandern doppelt so viel Spaß wie Backen?“ „Ist Programmieren dreimal besser als Kunst?“ Diese Methode des paarweisen Vergleichs ist ein klassisches Werkzeug, das Experten nutzen, um schwierige Entscheidungen zu treffen, von der Wahl eines neuen Bürgers bis hin zur Auswahl der besten medizinischen Behandlung. Es ist, als würde man versuchen, die exakte Höhe eines Berges zu bestimmen, indem man nur den Hang zwischen zwei Bäumen zur Zeit misst.

Das Problem ist, dass Menschen keine perfekten Rechenmaschinen sind. Ein Freund könnte sagen, Wandern sei besser als Backen, aber dann sagen, Backen sei besser als Programmieren, und Programmieren sei besser als Wandern. Das ist eine logische Schleife oder „Inkonsistenz“. Jahrzehntelang hatten Mathematiker Wege, um solche Schleifen zu glätten und ein endgültiges Ranking zu finden, aber sie behandelten die Fehler hauptsächlich als unordentliches Rauschen, das ignoriert werden sollte. Sie konnten Ihnen zwar sagen, was das Ranking war, aber sie konnten Ihnen nicht einfach sagen, wie sicher sie sich darüber waren. Es war wie eine Wettervorhersage, die sagt: „Es wird regnen“, ohne zu sagen, ob die Wahrscheinlichkeit bei 51 % oder 99 % liegt. Dieses Paper schließt diese Lücke, indem es diese unordentlichen menschlichen Vergleiche nicht nur als Fehler, sondern als Datenpunkte in einem statistischen Experiment betrachtet, wodurch es uns ermöglicht, das Vertrauen in unsere Entscheidungen zu messen, genau wie ein Wissenschaftler das Vertrauen in ein Laborergebnis misst.

Die große Idee des Papers: Gedankenexperimente in ein Mathematiklabor verwandeln

Die Autoren dieses Papers, Konrad Kułakowski, Kamil Pustelnik und Jacek Szybowski, untersuchen eine spezifische Entscheidungsmethode namens „Heuristic Rating Estimation“ (HRE). Stellen Sie sich vor, Sie haben eine Liste unbekannter Artikel (wie neue Videospiele) und ein paar bekannte Artikel (wie Ihr Lieblingsklassiker, von dem Sie wissen, dass er eine 10/10 ist). Sie bitten einen Experten, die neuen Spiele gegen die Klassiker und gegen einander zu vergleichen. Das Ziel ist es, das „Gewicht“ oder den Score der neuen Spiele zu ermitteln.

Traditionell geschieht dies mittels des geometrischen Mittels (einer spezifischen Art von Durchschnitt, die gut mit Verhältnissen umgeht). Die Autoren haben etwas Brillantes erkannt: Dieser gesamte Prozess ist eigentlich ein lineares Regressionsproblem. Das ist eine schicke Art zu sagen, dass es dieselbe Mathematik ist, die verwendet wird, um eine „Regressionsgerade“ durch ein Streudiagramm von Punkten zu zeichen.

Hier ist die Analogie: Stellen Sie sich vor, Sie versuchen, das Gewicht mehrerer Geheimnis-Boxen zu erraten. Sie haben ein paar bekannte Gewichte (Referenzwerte) auf einer Waage. Sie kennen die Gewichte der Geheimnis-Boxen nicht, aber ein Freund gibt Ihnen Hinweise wie: „Box A ist etwa halb so schwer wie Box B“ oder „Box C ist doppelt so schwer wie das 5-kg-Referenzgewicht“. Ihr Freund ist nicht perfekt; manchmal rät er „doppelt so schwer“, obwohl es eigentlich „1,9 Mal“ ist.

Das Paper schlägt vor, dass wir diese Schätzungen nicht einfach mitteln sollten. Stattdessen sollten wir jeden einzelnen Vergleich als eine „Messung“ in einem wissenschaftlichen Experiment behandeln. Die „unbekannten Gewichte“ sind die Variablen, die wir lösen wollen, und die „Schätzungen des Freundes“ sind unsere Datenpunkte. Durch die Verwendung der Werkzeuge der Statistik (speziell der Methode der kleinsten Quadrate) können wir die wahrscheinlichsten Gewichte für die Geheimnis-Boxen finden.

Was sie herausgefunden haben: Konfidenzintervalle und „Gleichstand“-Cluster

Die wahre Magie dieses Papers liegt nicht nur darin, die Gewichte zu finden, sondern darin, zu wissen, wie sehr man ihnen vertrauen kann. Da sie das Problem als statistisches Experiment behandelt haben, konnten sie Dinge berechnen, die zuvor unmöglich waren:

1. Konfidenzintervalle: Genau wie eine Umfrage sagen könnte: „50 % Zustimmung, plus oder minus 3 %“, kann diese Methode Ihnen sagen, dass der Score eines Spiels wahrscheinlich zwischen 0,15 und 0,25 liegt. Wenn der Bereich riesig ist, wissen Sie, dass die Daten unzuverlässig sind. Wenn er winzig ist, können Sie das Ranking vertrauen.
2. Wahrscheinlichkeit einer Rangumkehr: Dies ist der aufregendste Teil. Die Autoren haben die exakte Wahrscheinlichkeit berechnet, dass die Reihenfolge zweier Artikel korrekt ist. Zum Beispiel fanden sie für zwei spezifische Artikel in ihrem Beispiel heraus, dass die Wahrscheinlichkeit, dass der eine besser als der andere ist, bei 99,46 % liegt. Aber für ein anderes Paar lag die Chance nur bei 58,18 %. Das ist kaum besser als ein Münzwurf!
3. Die „Gleichstand“-Lösung: Hier wird das Paper sehr praktisch. Wenn die Wahrscheinlichkeit, dass Artikel A besser als Artikel B ist, niedrig ist (sagen wir unter 75 %), schlagen die Autoren vor, sie nicht erzwingend zu ranken. Stattdessen sollten wir sie in einen „Gleichstand-Cluster“ gruppieren. Stellen Sie sich ein Rennen vor, bei dem zwei Läufer so nah beieinander liegen, dass die Ziellinie-Kamera nicht entscheiden kann, wer gewonnen hat. Anstatt einen falschen Sieger zu erklären, sagen Sie: „Es war ein Unentschieden.“ Das Paper schlägt einen Algorithmus vor, der diese unsicheren Artikel automatisch zusammenfasst und ihnen einen Durchschnittswert gibt. Dies verhindert, dass der Entscheidungsträger eine mutige Wahl auf Basis schwacher Beweise trifft.

Was sie nicht behaupten (und was sie ausschließen)

Es ist wichtig anzumerken, was dieses Paper nicht tut. Es behauptet nicht, das menschliche Gehirn zu korrigieren oder Experten davon abzuhalten, Fehler zu machen. Das „Rauschen“ oder die Inkonsistenz in den Daten ist immer noch da; das Paper misst es nur besser.

Die Autoren argumentieren explizit dagegen, dass wir die Unsicherheit einfach ignorieren oder uns ausschließlich auf traditionelle „Inkonsistenz-Indizes“ (alte mathematische Werkzeuge, die eine einzige Zahl liefern, um zu sagen, wie unordentlich die Daten sind) verlassen sollten. Sie zeigen, dass eine einzige Zahl nicht ausreicht, da zwei verschiedene Paare von Artikeln dieselbe „Unordentlichkeits-Bewertung“ haben können, aber ein Paar klar getrennt (leicht zu ranken) und das andere fast identisch (schwer zu ranken) sein kann. Ihre neue Methode erfasst sowohl die „Unordentlichkeit“ als auch den „Abstand“ zwischen den Artikeln.

Sie behaupten auch nicht, dass dies ein Allheilmittel für jede Situation ist. Ihre Ergebnisse basieren auf mathematischen Beweisen und Simulationen (wie dem Beispiel mit 7 Alternativen, an dem sie gearbeitet haben). Sie legen nahe, dass diese Methode in Gruppensettings, in denen mehrere Experten Daten liefern, sogar noch leistungsfähiger sein kann, da sie die „Messungen“ aller Beteiligten kombinieren kann, um ein klareres Bild zu erhalten, selbst wenn jeder Experte einige Vergleiche versäumt hat.

Das Fazzinierende

Vereinfacht gesagt nimmt dieses Paper die unordentliche, subjektive Welt des „Ich glaube, das ist besser als das“ und verwandelt sie in eine rigorose, datengesteuerte Wissenschaft. Es gibt uns eine Möglichkeit zu sagen: „Wir sind zu 99 % sicher, dass A besser als B ist, aber wir sind uns über C und D nur zu 58 % sicher, also nennen wir C und D einen Gleichstand.“ Es verwandelt eine starre Liste von Rankings in eine flexible, ehrliche Darstellung dessen, was wir tatsächlich wissen, und hilft Entscheidungsträgern, die Falle zu vermeiden, so zu tun, als wären sie sich sicherer, als sie es tatsächlich sind.