Noisy Nonreciprocal Pairwise Comparisons: Scale Variation, Noise Calibration, and Admissible Ranking Regions

1. Probleemstelling

In de besluitvorming, voorkeursmodellering en multicriteria-evaluatie worden vaak paarwijze vergelijkingen gebruikt. In een ideaal scenario is de vergelijking tussen alternatief $i$ en $j$ reciproc (omkeerbaar): als $i$ beter is dan $j$ met een waarde $a_{ij}$, dan is $j$ slechter dan $i$ met $a_{ji} = -a_{ij}$ (in een additieve formulering).

In de praktijk zijn waargenomen vergelijkingen echter vaak niet-reciproc en niet consistent. De traditionele aanpak behandelt deze afwijkingen als een defect dat direct moet worden gecorrigeerd, meestal door de waargenomen matrix te projecteren op de ruimte van reciproke matrices (de "brutale projectie").

Het centrale probleem dat dit artikel adresseert, is dat deze standaardreactie te ruw kan zijn. Niet-reciprociteit kan twee verschillende oorzaken hebben:

1. Toeval: Ruis door aarzeling, vermoeidheid of lokale onzekerheid.
2. Gestructureerde variatie: Een systematische verschuiving in de effectieve evaluatieschaal (bijvoorbeeld omdat de beoordelaar de schaal anders interpreteert bij het vergelijken van $i$ met $j$ dan bij $j$ met $i$).

De vraag is: hoeveel van de asymmetrie is ruis, en hoeveel is een betekenisvolle, gestructureerde vervorming van de schaal die behouden moet blijven voor een juiste interpretatie?

2. Methodologie

Het artikel introduceert een additief model voor niet-reciproke matrices dat de waargenomen data $x_{ij}$ decomposeert in drie componenten:

$$x_{ij} = (u_i - u_j) + (s_i + s_j) + \varepsilon_{ij}$$

Waarbij:

• $u_i - u_j$: De latente rangschikking (de onderliggende voorkeur).
• $s_i + s_j$: De gestructureerde schaalvervorming (systematische variatie in de evaluatieschaal).
• $\varepsilon_{ij}$: De residuale ruis (toevallige verstoring).

Stappen in de methode:

1. Decompositie: De waargenomen matrix $X$ wordt opgesplitst in een antisymmetrisch deel $K$ (bevat rangschikkingsinformatie) en een symmetrisch deel $H$ (bevat schaalvervormingsinformatie).

   • $K = (X - X^T)/2$
   • $H = (X + X^T)/2$

2. Schatting van componenten:

   • De latente scores $u$ worden geschat via kleinste-kwadraten op het antisymmetrische deel $K$.
   • De schaalvervormingsvector $s$ wordt geschat via kleinste-kwadraten op het symmetrische deel $H$.
   • Dit resulteert in een gefit model $\hat{M}_{ij} = \hat{u}_i - \hat{u}_j + \hat{s}_i + \hat{s}_j$.

3. Ruis-calibratie:

   • In plaats van de ruwe matrix te gebruiken, wordt een residumatrix $\hat{E}$ berekend ($X - \hat{M}$).
   • Op basis van een Gaussisch werkmodel (gebaseerd op het centrale limiettheorema voor de accumulatie van kleine fouten) worden indicatoren gedefinieerd om de ruisniveau ($\sigma$) en de afhankelijkheid tussen tegenovergestelde oordelen ($\rho$) te schatten.
   • Twee indicatoren worden gebruikt: een voor residuale reciprociteit en een voor residuale driehoeksconsistentie.

4. Diagnostiek voor schaalvervorming:

   • Er worden twee indices gedefinieerd om te bepalen of de schaalvervorming "matig" is:
     • $\Lambda$: Een globale verhouding tussen de grootte van de schaalvervorming en de rangschikking.
     • $\Gamma$: Een lokale index die meet of de vervorming groot genoeg is om de volgorde van dicht bij elkaar liggende scores om te draaien.

5. Probabilistische rangschikking:

   • In plaats van één ranglijst te geven, wordt een Gaussische onzekerheidsverdeling rond de geschatte scores $\hat{u}$ geplaatst.
   • Hiermee worden kansen toegewezen aan "rangschikkingregio's" (de ruimte van scores die leiden tot een specifieke strikte rangschikking).

3. Belangrijkste Bijdragen

1. Model voor gestructureerde niet-reciprociteit: Het artikel introduceert een model dat niet-reciprociteit niet als puur fout ziet, maar als een mengsel van latente rangschikking, schaalvervorming en ruis.
2. Expliciete schatters: Het biedt formules voor het scheiden van de rangschikking ($u$) en de schaalvervorming ($s$) via least-squares schattingen op respectievelijk het antisymmetrische en symmetrische deel.
3. Ruis-calibratie op residuen: De methode kalibreert het ruisniveau op basis van de matrix die overblijft na het verwijderen van de gestructureerde componenten, in plaats van op de ruwe data.
4. Diagnostische indicatoren: Het introduceert $\Lambda$ en $\Gamma$ om te beoordelen of een reciproke projectie (het negeren van de symmetrische kant) veilig is of misleidend.
5. Probabilistische output: Het koppelt de rangschikking aan waarschijnlijkheidsintervallen voor de mogelijke rangordes, wat een nuance toevoegt aan de besluitvorming.

4. Resultaten en Vergelijking

De auteur vergelijkt de voorgestelde gestructureerde aanpak met de "brutale reciproke projectie" (waarbij men direct $X$ projecteert op $K$ en $H$ verwijdert).

• Centrale rangschikking: In een least-squares setting leveren beide methoden dezelfde schatting op voor de latente rangschikking ($\hat{u}$).
• Onzekerheidskalibratie: Hier ligt het fundamentele verschil.
  • Bij de brutale projectie wordt de gestructureerde schaalvervorming ($s_i + s_j$) behandeld als ruis. Dit leidt tot een overschatting van het ruisniveau en een te diffuse (vaagere) waarschijnlijkheidsverdeling over de mogelijke rangordes.
  • De gestructureerde methode verwijdert de vervorming eerst, waardoor de resterende ruis correct wordt geschat.
• Numerieke illustraties:
  • Simulaties tonen aan dat bij sterke schaalvervorming de brutale methode de onzekerheid kunstmatig opblaast.
  • In een concreet voorbeeld bleek dat brute projectie soms leidt tot een reciproke matrix die geen geldige strikte rangschikking meer toelaat (cycli in de voorkeuren), terwijl de gestructureerde methode de onderliggende rangschikking behoudt.

5. Betekenis en Conclusie

De kernboodschap van het artikel is dat niet-reciprociteit niet automatisch moet worden gecorrigeerd.

• Besluitvorming: Voor een besluitvormer is het cruciaal om te weten of de onzekerheid in de rangschikking komt van echte ruis (onbetrouwbaarheid van de data) of van een interpreteerbare schaalvervorming (systematische bias in de beoordeling).
• Diagnose: De voorgestelde methode biedt een diagnose: als de indicatoren $\Lambda$ en $\Gamma$ klein zijn, is de brutale projectie acceptabel. Als ze groot zijn, leidt de brutale projectie tot misleidende onzekerheidsmetingen.
• Interpretatie: De methode verschuift de focus van "het repareren van de data" naar "het interpreteren van de structuur van de data". Het biedt niet alleen een ranglijst, maar ook een diagnose van hoe sterk die ranglijst wordt ondersteund door de data en welke rol de schaalvervorming speelt.

Kortom, het artikel biedt een robuustere, probabilistische raamwerk voor het omgaan met imperfecte paarwijze vergelijkingen, waarbij gestructureerde afwijkingen worden onderscheiden van toevallige ruis.