Technische Samenvatting: "Can LLMs Rank? A Tale of Triads and Triage"

Probleemstelling

Large Language Models (LLMs) worden steeds vaker ingezet als "rechters" voor taken met een hoge inzet, zoals het prioriteren van huishoudens voor noodhuisvesting of het triageren van patiënten op spoedeisende hulpafdelingen. Hoewel LLM's over geavanceerde redeneerkracht beschikken, zijn hun outputs gevoelig voor de presentatievolgorde en de framing van de prompt, wat ze kwetsbaar maakt voor het gelijktijdig rangschikken van grote groepen. Een veelgebruikte mitigatiestrategie, geworteld in de sociale keuzetheorie, is het extraheren van paarwijze vergelijkingen en het aggregeren hiervan tot een totale ordening.

Er bestaat echter een kritische kloof: praktijkgebruikers missen een betrouwbare methode om te beoordelen of de paarwijze oordelen van een LLM voldoende consistent zijn om de resulterende rangschikking vóór implementatie te kunnen vertrouwen. Bestaande literatuur behandelt consistentiematrics en rangschikkingsnauwkeurigheid vaak als afzonderlijke zaken, waarbij de relatie tussen intra-run consistentie (de interne logische consistentie van een enkele reeks oordelen) en inter-run variantie (de stabiliteit van de rangschikkingsuitkomst over meerdere runs) niet wordt onderzocht. Dit artikel onderzoekt of deze twee assen van betrouwbaarheid onafhankelijk zijn en hoe zij zich gedragen in zowel synthetische als real-world LLM-toepassingen.

Methodologie

Theoretisch Kader

De auteurs stellen een $2 \times 2$ taxonomie voor van rangschikkingsbetrouwbaarheid, gedefinieerd door twee onafhankelijke assen:

1. Intra-Run Consistentie (IC): Gemeten door de Coëfficiënt van Consistentie ($\zeta$). Oorspronkelijk ontwikkeld door Kendall en Smith, kwantificeert $\zeta$ de oordeelsbetrouwbaarheid door circulaire triaden (triples $\{a, b, c\}$ waar $a \succ b \succ c \succ a$) in een toernooi-grafiek te tellen. Een waarde van $\zeta = 1$ duidt op perfecte transitiviteit, terwijl $\zeta = 0$ maximale cycliciteit aangeeft. Het artikel leidt het asymptotische gedrag van $\zeta$ af naarmate het aantal kandidaten $n$ toeneemt, waarbij aangetoont dat het afhangt van de inconsistentieratio $r$ en een schaleringsfactor.
2. Inter-Run Variantie (IV): Gemeten door de Kendall's $\tau$ afstand tussen rangschikkingen gegenereerd door onafhankelijke runs van dezelfde pipeline. Dit vangt de stabiliteit van de uiteindelijke rangschikking op.

De auteurs karakteriseren theoretisch de relatie tussen $n$, $\zeta$ en $\tau$ onder het Bradley-Terry-Luce (BTL) model, een standaard generatief model voor paarwijze vergelijkingen met een bekende grondwaarheid.

Experimenteel Ontwerp

De studie evalueert deze metrieken over twee domeinen:

• Huisvestingstoewijzing bij Dakloosheid: Gebruikmakend van St. Louis coördinatie-entry records (VI-SPDAT, VIF-SPDAT, TAY-VISPDAT) voor volwassenen, gezinnen en jongeren in de overgangsfase.
• Triage op de Spoedeisende Hulp: Gebruikmakend van MIMIC-IV data met Emergency Severity Index (ESI) labels.

Modellen: Drie leidende LLM's werden lokaal getest: Meta-Llama-3-8B-Instruct, DeepSeek-R1-Distill-Llama-8B, en Qwen2.5-7B-Instruct.

Procedure:

1. Subtoernooi Evaluatie: Voor elk dataset werd een volledig subttoernooi van $m=30$ items gegenereerd (435 paarwijze vergelijkingen per model). $\zeta$ werd exact berekend, en zelfconsistentie ($\tau_{cons}$) werd gemeten via bootstrap subsampling.
2. Volledige Sparse Pipeline: De pipeline werd uitgevoerd op grotere sets ($n$ tot 698) met een edge sampling waarschijnlijkheid van $p=0.4$ om real-world beperkingen te simuleren. De auteurs maten hoe $\hat{\zeta}$ (geschat uit sparse data) en $\tau_{cons}$ schalen met $n$.

Belangrijkste Bijdragen

1. Theoretische Karakterisering van $\zeta$: Het artikel bewijst dat onder het BTL-model met een vaste discriminabiliteit, de inconsistentieratio $r$ afneemt als $\Theta(1/n^2)$, waardoor $\zeta$ convergeert naar 1 naarmate $n$ toeneemt. Dit vestigt een theoretische baseline waarbij consistentie verbetert met schaalvergroting.
2. Ontkoppeling van Consistentie-assen: Door middel van synthetische experimenten laten de auteurs zien dat $\zeta$ en $\tau_{cons}$ gecorreleerd zijn maar niet redundant. Specifiek meet $\zeta$ de kwaliteit van het vergelijkingssignaal (intransitiviteit), terwijl $\tau_{cons}$ afhangt van zowel de signaalkwaliteit als de kwantiteit van de beschikbare vergelijkingen per item.
3. Empirische Divergentie in Real-World Data: In tegenstelling tot het BTL-model vertoont real-world LLM-data een constante inconsistentieratio ($r$) naarmate $n$ toeneemt. Als gevolg hiervan stabiliseert $\zeta$ nabij een asymptotische vloer in plaats van te verbeteren, terwijl $\tau_{cons}$ blijft toenemen met $n$ door de accumulatie van datapunten.
4. Model-Specifieke Prestatieprofielen: De studie onthult dat geen enkel LLM beide assen domineert.
   • LLaMA: Bereikt consequent de hoogste intra-run consistentie ($\zeta$) maar vertoont een lagere inter-run stabiliteit.
   • Qwen: Bereikt de hoogste inter-run stabiliteit ($\tau_{cons}$) maar heeft de laagste intra-run consistentie.
   • DeepSeek: Bevindt zich doorgaans in het midden op beide dimensies.

Resultaten

• Synthetisch vs. Real-World Gedrag: In synthetische BTL-data neemt $\zeta$ toe met $n$. In real-world LLM-gegenereerde data blijft $\zeta$ ongeveer constant over verschillende waarden van $n$, wat aangeeft dat de inconsistentieratio $r$ niet afneemt met schaal zoals voorspeld door geïdealiseerde modellen.
• Diagnostische Nut: De sparse estimator $\hat{\zeta}$ blijkt ongebiast over verschillende observatiekansen ($p$), waardoor praktijkgebruikers de kwaliteit van vergelijkingen kunnen schatten, zelfs met incomplete data.
• Trade-offs: Het artikel belicht een cruciale trade-off: een model met een hoge $\zeta$ (LLaMA) kan rangschikkingen produceren die intern logisch zijn maar onstabiel over verschillende runs, terwijl een model met een hoge $\tau_{cons}$ (Qwen) stabiele rangschikkingen kan produceren die intern intransitief zijn.

Betekenis en Claims

Het artikel stelt dat het vertrouwen op een enkele metriek (ofwel $\zeta$ of $\tau_{cons}$) onvoldoende en potentieel misleidend is voor het beoordelen van de betrouwbaarheid van LLM's in taken met een hoge inzet.

• Onafhankelijke Assen: De auteurs beweren dat intra-run consistentie en inter-run variantie werkelijk onafhankelijke assen van betrouwbaarheid zijn. Een systeem kan intern consistent maar onstabiel zijn (lage IV, hoge IC), of stabiel maar intern intransitief (hoge IV, lage IC).
• Praktisch Diagnostisch Protocol: Het artikel stelt een tweestapsdiagnose voor aan praktijkgebruikers:
  1. Voer een kleine, volledige subtorsooi uit om $\zeta$ te berekenen. Als $\zeta$ laag is, is het vergelijkingsproces fundamenteel intransitief, en zal geen hoeveelheid extra data het rankingproces oplossen.
  2. Als $\zeta$ hoog is maar $\tau_{cons}$ laag, is het probleem een onvoldoende hoeveelheid data, niet de signaalkwaliteit; de oplossing is om de sampling fraction te verhogen in plaats van het model te wijzigen.
• Modelselectie: De resultaten suggereren dat modelselectie domeinspecifiek moet zijn. Als een belanghebbende de logische coherentie van individuele oordelen prioriteert, kan LLaMA de voorkeur genieten. Als zij de stabiliteit van de uiteindelijke output over verschillende runs prioriteren, kan Qwen de voorkeur genieten.

Het artikel concludeert dat de voorgestelde taxonomie een noodzakelijk kader biedt om verder te gaan dan eenvoudige nauwkeurigheidsmetingen naar een genuanceerder begrip van AI-betrouwbaarheid in besluitvormingsprocessen met grote gevolgen.