Estimated Ranking Tables and Uncertainty

Stellen Sie sich vor, Sie befinden sich auf einer riesigen Wissenschaftsmesse mit Hunderten von Ständen, an denen jeweils ein anderes Projekt ausgestellt wird. Wenn Sie einfach die Gänge entlanglaufen und die Namen der Schulen in alphabetischer Reihenfolge lesen würden, müssten Sie ständig hin und her springen, um herauszufinden, welches Projekt tatsächlich den ersten Platz belegt hat. Sie müssten blinzeln, Zahlen vergleichen und raten, wer der „Beste“ ist. Genau das ist die Art von Verwirrung, die entsteht, wenn Statistiker Datentabellen veröffentlichen. Oft listen sie Länder, Bundesstaaten oder Städte in alphabetischer Reihenfolge auf, was zwar großartig ist, um einen bestimmten Namen zu finden, aber schrecklich, um zu sehen, wer in einem Wettbewerb gewinnt oder verliert.

Dieses Papier bewegt sich in der Welt der Statistik, speziell in dem Zweig, der sich damit beschäftigt, wie wir Dinge aus einer Stichprobe messen (wie etwa die Befragung von 1.000 Menschen zu ihrem Arbeitsweg), um zu erraten, was die gesamte Grundgesamtheit tut. Der Kern der Sache ist die Unsicherheit. Da wir basierend auf einer Stichprobe schätzen, sind unsere Zahlen keine perfekten Fakten; es sind Schätzungen mit einem kleinen bisschen „Spielraum“. Wenn Bundesstaat A eine durchschnittliche Pendelzeit von 30 Minuten hat und Bundesstaat B 30,1 Minuten, ist Bundesstaat B dann wirklich langsamer oder ist das nur ein Zufallsprodukt der Umfrage? Das Papier argumentiert, dass wir eine neue Art brauchen, diese Ranglisten darzustellen, die nicht nur Namen auflistet, sondern uns tatsächlich zeigt, wie sicher (oder unsicher) wir uns darüber sind, wer auf dem ersten, zweiten oder letzten Platz liegt.

---

Das große Ranking-Chaos

Tommy Wright, ein Forscher des US Census Bureau, ist auf einer Mission, die Art und Weise zu korrigieren, wie wir Datentabellen betrachten. Er glaubt, dass staatliche Agenturen, wenn sie eine Liste von Zahlen veröffentlichen – etwa wie lange Menschen in verschiedenen Bundesstaaten zu ihrer Arbeit pendeln –, diese nicht einfach von A bis Z auflisten sollten. Stattdessen sollten sie sie als geschätzte Ranglistentabelle (Estimated Ranking Table) präsentieren.

Denken Sie an eine Sportliga. Wenn Sie die Teams einfach alphabetisch auflisten, müssen Sie die Mathematik selbst betreiben, um zu sehen, wer an der Spitze der Bestenliste steht. Wright sagt: „Zeigen wir doch einfach die Bestenliste!“ Aber hier ist der Haken: In der Realität ist die Bestenliste kein fester, unveränderlicher Fakt. Sie ist eine Momentaufnahme basierend auf einer Stichprobe und bringt eine Wolke der Unsicherheit mit sich.

Wrights Arbeit widmet sich einer einfachen, aber riesigen Frage: „Sollte eine Datentabelle explizit als geschätzte Ranglistentabelle präsentiert werden?“ Seine Antwort ist ein begeistertes „Ja“. Er argumentt, dass fast jede Tabelle, die Zahlen für verschiedene Gruppen zeigt, von dem höchsten zum niedrigsten Wert sortiert sein sollte und dass sie eine visuelle Orientierungshilfe enthalten sollte, die den „Nebel“ der Unsicherheit um diese Rangierungen herum aufzeigt.

Der „Nebel“ der Unsicherheit

Um Wrights Lösung zu verstehen, stellen Sie sich vor, Sie versuchen, Ihre Freunde nach ihrer Körpergröße zu ordnen. Sie messen sie mit einem Lineal, aber Ihr Lineal ist ein wenig wackelig. Sie denken, Ihre Freundin Alice ist 1,68 m groß und Bob ist 1,65 m groß. Aber weil Ihr Lineal wackelt, ist Bob vielleicht eigentlich 1,66 m und Alice 1,67 m. Wenn Sie einfach aufschreiben: „Alice ist Platz 1, Bob ist Platz 2“, lügen Sie über die Sicherheit Ihres Wissens.

Wright führt eine Methode namens DIFF Joint Confidence Region ein. „DIFF“ steht für Differenzen. Anstatt nur auf die Größe einer einzelnen Person zu schauen, betrachtet diese Methode die Differenz zwischen jedem Paar von Personen. Sie fragt: „Ist der Abstand zwischen Alice und Bob so groß, dass wir sicher sein können, dass Alice größer ist, oder ist der Abstand so gering, dass sie ein Unentschieden haben könnten?“

Er verwendet ein visuelles Werkzeug, das wie ein Gitter oder eine Leiter aussieht:

• Die vertikale Achse ist der Rang (1. Platz, 2. Platz usw.).
• Die horizontale Achse listet die Gruppen (wie Bundesstaaten oder Länder) sortiert nach ihrer besten Schätzung des Wertes auf.
• Die Boxen zeigen an, wo eine Gruppe liegen könnte.

Wenn ein Bundesstaat der klare Gewinner ist, wird seine Box ein einzelnes, solides Quadrat ganz oben sein. Aber wenn zwei Bundesstaaten sehr nah beieinander liegen, werden ihre Boxen sich überschneiden und eine „Wolke“ der Möglichkeiten erzeugen. Diese Wolke sagt Ihnen: „Hey, Bundesstaat A ist wahrscheinlich Platz 1, aber er könnte auch Platz 2 sein, und Bundesstaat B könnte Platz 1 sein statt A.“

Die drei Beispiele: Von Pendelzeiten bis hin zu Mathe-Ergebnissen

Wright spricht nicht nur über Theorie; er testet seine Idee mit drei realen Beispielen, um zu zeigen, wie sie funktioniert.

1. Das Pendel-Chaos (US-Bundesstaaten)
Er untersuchte die durchschnittliche Zeit, die Menschen in allen 51 Bundesstaaten (einschließlich Washington D.C.) für den Weg zur Arbeit benötigen. In einer traditionellen alphabetischen Tabelle müssten Sie nach Maryland und North Dakota suchen, um zu sehen, wer die längsten und kürzesten Pendelzeiten hat. In Wrights Ranglistentabelle steht Maryland klar an der Spitze mit einer Pendelzeit von 32,2 Minuten, und North Dakota sowie South Dakota sind mit 16,9 Minuten ganz unten.
Das Coole daran ist der „Nebel“. Die Bundesstaaten an der Spitze und am unteren Ende haben sehr kleine Wolken, was bedeutet, dass wir uns sehr sicher sind, wer die Schnellsten und Langsamsten sind. Aber in der Mitte, wo viele Bundesstaaten ähnliche Zeiten haben (um 23 bis 25 Minuten), sind die Wolken riesig. Dies signalisiert uns: „Wir wissen nicht genau, was in der Mitte los ist!“ Wir können zwar sagen: „Maryland ist der Langsamste“, aber wir können nicht zu 100 % sicher sein, ob etwa Illinois Platz 5 oder 6 ist. Die Tabelle gibt zu: „Wir wissen es in der Mitte nicht genau!“

2. Die Ausgabensucht (Indien)
Als Nächstes untersuchte er, wie viel Geld Menschen in 18 großen indischen Bundesstaaten jeden Monat für Lebensmittel und Güter ausgeben. Der Top-Spender war Telangana mit 8.158 (Währungseinheiten) und der niedrigste war Chhattisgarh mit 4.483. Auch hier zeigte die Ranglistentabelle, dass die Spitze und das Schlusslicht klar waren, aber die mittleren Bundesstaaten wiesen viele Überschneidungen auf. Dies hilft politischen Entscheidungsträgern zu erkennen, dass zwar einige Bundesstaaten eindeutig reicher oder ärmer sind, diejenigen in der Mitte jedoch zu nah beieinander liegen, um ohne mehr Daten zu entscheiden.

3. Das Mathe-Duell (OECD-Länder)
Schließlich betrachtete er die Mathe-Ergebnisse von 15-Jährigen in 37 Ländern aus dem PISA-Test. Japan und Korea sind mit Werten von 536 und 527 die klaren Anführer. Am Ende der Liste standen Kolumbien, Costa Rica und Mexiko. Die Visualisierung zeigte, dass die Spitzengruppe der Länder deutlich war, aber das mittlere Paket der Länder (mit Werten um 470–490) war eine massive, vermischte Wolke. Das bedeutet, dass die Aussage „Land X ist besser als Land Y“ in der Mitte der Gruppe oft eher eine Vermutung als ein Fakt ist.

Warum das wichtig ist

Wrights Arbeit legt nahe, dass wir aufhören sollten, so zu tun, als sei eine einzelne Zahl die absolute Wahrheit. Durch die Verwendung dieser geschätzten Ranglistentabellen können statistische Agenturen schneller und klarer kommunizieren. Anstatt die Nutzer durch eine alphabetische Liste suchen zu lassen, zeigt die Tabelle den „Gewinner“ und den „Verlierer“ sofort an. Viel wichtiger ist jedoch, dass sie die Unsicherheit aufzeigt.

Er argumentiert, dass wir uns von „impliziten“ Rankings (bei denen man die Reihenfolge selbst erraten muss) zu „expliziten“ Rankings bewegen sollten (bei denen die Reihenfolge zusammen mit dem Nebel des Zweifels dargestellt wird). Er glaubt, dass wir, wenn wir dies tun, aufhören, falsche Behauptungen darüber aufzustellen, wer „besser“ oder „schlechter“ ist, wenn die Daten eigentlich zu vage sind, um dies zu sagen.

Kurz gesagt: Wright sagt uns: „Gebt uns nicht nur eine Liste von Zahlen. Gebt uns eine Bestenliste, die zugibt, wenn das Rennen zu knapp zu entscheiden ist.“ Es ist eine Art, ehrlich damit umzugehen, was wir wissen und was wir nur vermuten – was die Daten nicht nur zu einer Liste von Fakten macht, sondern zu einer Geschichte darüber, wie sicher wir uns dieser Fakten sind.