Estimated Ranking Tables and Uncertainty

Technische Samenvatting: Geschatte Ranglijsttabellen en Onzekerheid

Probleemstelling
Nationale statistische instanties publiceren regelmatig tabellen met steekproefschattingen voor $K$ populaties (bijv. staten, landen of districten). Traditioneel worden deze tabellen alfabetisch of volgens een niet-kwantitatief criterium geordend, waarbij rijen primaire schattingen en bijbehorende maten van onzekerheid (bijv. standaardfouten) bevatten. De auteur stelt dat deze presentatie leidt tot "impliciete geschatte ranglijsten", waardoor gebruikers handmatig moeten zoeken naar de kleinste of grootste schattingen om relatieve standen te bepalen. Dit proces is inefficiënt, vooral wanneer $K$ groot is (bijv. 51 Amerikaanse staten), en faalt in het expliciet communiceren van de onzekerheid die inherent is aan de volgorde zelf. Hoewel gebruikers vaak gegevens opnieuw ordenen om "expliciete" ranglijsten te creëren, missen deze door de gebruiker gegenereerde tabellen doorgaans statistische verklaringen over de onzekerheid van de nieuwe ordening. Het artikel betoogt dat tabellen geproduceerd door statistische instanties expliciet gepresenteerd moeten worden als geschatte ranglijsttabellen, waarbij rijen worden geordend op basis van de grootte van de schattingen, en de tabel maten van onzekerheid voor de totale ranglijst bevat.

Methodologie
Het artikel stelt een raamwerk voor voor het construeren en visualiseren van een Geschatte Ranglijsttabel vergezeld van een DIFF-gezamenlijke betrouwbaarheidsregio voor de ware rangorde van $K$ populaties.

1. Definities en Aannames:

   • Rang: De ware rang $r_k$ van populatie $k$ wordt gedefinieerd als 1 plus het aantal andere populaties met gemiddelden die kleiner dan of gelijk aan $\bar{Y}_k$ zijn.
   • Schattingen: Het artikel gaat uit van $K$ onafhankelijke waarschijnlijkheidssteekproeven die schattingen $\bar{y}_k$ opleveren met bekende standaardfouten $SE(\bar{y}_k)$.
   • Normaliteit: Er wordt aangenomen dat $\bar{y}_k \sim N(\bar{Y}_k, SD(\bar{y}_k))$.
   • Ordeningsprincipe: Het artikel pleit voor het "Eerste Kwadrant Principe", waarbij hogere schattingen visueel hoger worden geplaatst (of lager, afhankelijk van de asoriëntatie, maar consistent gecorreleerd) om harmonie te waarborgen tussen de grootte van de schatting en de toegewezen rangorde.

2. De DIFF Gezamenlijke Betrouwbaarheidsregio:
   De kernmethodologie berust op het construeren van een gezamenlijke betrouwbaarheidsregio voor de vector van ware rangen $(r_1, \dots, r_K)$ met behulp van verschillen tussen populatieparameters.

   • Paarsgewijze Intervallen: De methode construeert $\binom{K}{2}$ gezamenlijke betrouwbaarheidsintervallen voor de verschillen $\bar{Y}_k - \bar{Y}_{k'}$.
   • Bonferroni-correctie: Om een totale gezamenlijke betrouwbaarheidsgraad van $100(1-\alpha)\%$ te bereiken, wordt een Bonferroni-correctie toegepast. Het individuele betrouwbaarheidsniveau wordt aangepast naar $1 - \gamma^*$, waarbij $\gamma^* = \alpha / \binom{K}{2}$. De intervallen zijn:
     $$(\bar{y}_k - \bar{y}_{k'}) \pm z_{\gamma^*/2} \sqrt{SE(\bar{y}_k)^2 + SE(\bar{y}_{k'})^2}$$
   • Classificatie van Verschillen: Voor elke populatie $k$ worden de intervallen voor $\bar{Y}_k - \bar{Y}_{k'}$ geclassificeerd in drie verzamelingen op basis van hun positie ten opzichte van 0:
     • $AR_k$: Intervallen die volledig aan de rechterkant van 0 liggen (wat impliceert dat $\bar{Y}_k > \bar{Y}_{k'}$).
     • $AL_k$: Intervallen die volledig aan de linkerkant van 0 liggen (wat impliceert dat $\bar{Y}_k < \bar{Y}_{k'}$).
     • $AO_k$: Intervallen die 0 overlappen (wat impliceert dat de volgorde onbepaald is).
   • Rangsets: Op basis van Stelling 1 is de verzameling van mogelijke ware rangen voor populatie $k$:
     $$\{ |AR_k| + 1, |AR_k| + 2, \dots, |AR_k| + |AO_k| + 1 \}$$
   • Gezamenlijke Regio: De gezamenlijke betrouwbaarheidsregio is het Cartesisch product van deze individuele rangsets, onder de beperking dat rangen uniek moeten zijn (een permutatie). De visuele weergave is een raster waarbij kolommen populaties vertegenwoordigen (geordend naar geschatte grootte) en rijen rangen vertegenwoordigen. Cellen bevatten de afkorting van de populatie als die populatie die rang binnen de betrouwbaarheidsregio kan innemen.

3. Visualisatie:
   Het artikel introduceert een op theorie gebaseerde visuele weergave (een scatterplot-achtig raster) die simultaan weergeeft:

   • De geschatte rangorde (vetgedrukte invoer).
   • De onzekerheid in de rangorde (niet-vetgedrukte invoer).
   • Marginale betrouwbaarheidsverzamelingen voor de ware rang van elke populatie.
   • Marginale betrouwbaarheidsverzamelingen voor elke rang (welke populaties deze kunnen bezetten).
   • De "compactheid" van de regio, gedefinieerd als $T^* = (K^2 - OP) / (K^2 - K)$, waarbij $OP$ het aantal bezette cellen is.

Belangrijkste Resultaten en Voorbeelden
Het artikel illustreert de methodologie aan de hand van drie reële datasets:

1. Amerikaanse Staten (K=51): Gebruikmakend van 2011 American Community Survey-gegevens over de gemiddelde reistijd naar het werk. De DIFF 90% gezamenlijke betrouwbaarheidsregio laat zien dat de onzekerheid het laagst is aan de extremen (bovenste en onderste rangen) en het hoogst is in de middelste rangen. Staten met sterk verstedelijkte, hoogpopulaire kenmerken (Groep 1) vertoonden de minste onzekerheid, terwijl staten met gemengde stedelijke/landelijke kenmerken (Groep 3) de meeste onzekerheid vertoonden.
2. Indiase Staten (K=18): Gebruikmakend van 2022-23 National Sample Survey-gegevens over de maandelijkse consumptie-uitgaven per capita (MPCE). De visualisatie laat zien hoe de methode omgaat met variërende standaardfouten en de verdeling van schattingen over 18 belangrijke Indiase staten.
3. OECD-landen (K=37): Gebruikmakend van 2022 PISA-wiskundescores. De regio visualiseert de onzekerheid in de wereldwijde ranglijst van onderwijssystemen, waarbij wordt getoond welke landen plausibele rangverwisselingen kunnen ondergaan gezien de steekproeffout.

In alle gevallen contrasteert het artikel de voorgestelde "Geschatte Ranglijsttabel" (geordend op grootte) met traditionele "Alfabetische Tabellen", waarbij wordt betoogd dat de eerste directere visuele vergelijking van relatieve standen mogelijk maakt.

Betekenis en Claims
Het artikel beweert dat het presenteren van gegevens als expliciete geschatte ranglijsttabellen met bijbehorende gezamenlijke betrouwbaarheidsregio's verschillende voordelen biedt:

• Efficiëntie: Het vermindert de cognitieve belasting voor gebruikers door het handmatig sorteren van gegevens om relatieve standen te vinden te elimineren.
• Transparantie: Het communiceert expliciet de onzekerheid van de rangorde, wat voorkomt dat kleine verschillen in schattingen worden geïnterpreteerd als definitieve verschillen in rang.
• Complexe Onzekerheid: In tegen tegenstelling tot methoden die alleen betrouwbaarheidsintervallen voor individuele rangen bieden, biedt de DIFF gezamenlijke betrouwbaarheidsregio een samenhangend beeld van de volledige rangstructuur, wat alternatieve ware rangordes blootlegt.
• Visuele Helderheid: De voorgestelde visualisatie stelt gebruikers in staat om in één oogopslag te zien welke populaties statistisch ononderscheidbaar zijn in rang en welke onderscheidend zijn.

De auteur merkt op dat hoewel eerdere inspanningen (zoals de INDI/KWW-methode) vergelijkbare inzichten boden, de DIFF-methode een "compactere" gezamenlijke betrouwbaarheidsregio biedt, wat nauwkeurigere grenzen oplevert voor de mogeltijke ware rangordes. Het artikel concludeert dat statistische instanties het gebruik van expliciete geschatte ranglijsttabellen moeten maximaliseren en het gebruik van alfabetisch geordende tabellen moeten minimaliseren om datagebruikers beter te dienen.