Technisches Resümee: „Can LLMs Rank? A Tale of Triads and Triage“

Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend als „Richter“ für Aufgaben mit hoher Ressourcenallokation eingesetzt, wie etwa die Priorisierung von Haushalten für Notunterkünfte oder die Triage von Patienten in Notaufnahmen. Obwohl LLMs über ausgefeilte Argumentationsfähigkeiten verfügen, reagieren ihre Ergebnisse empfindlich auf die Präsentationsreihenfolge und das Prompt-Framing, was sie für das gleichzeitige Ranking großer Gruppen unzuverlässig macht. Eine gängige Strategie zur Risikominderung, die auf der Social-Choice-Theorie basiert, besteht darin, paarweise Vergleiche zu erzielen und diese zu einer Totalordnung zu aggregieren.

Es besteht jedoch eine kritische Lücke: Praktiker verfügen über keine zuverlässige Methode, um zu beurteilen, ob die paarweisen Urteile eines LLM ausreichend konsistent sind, um die resultierende Rangfolge vor dem Einsatz zu vertrauen. Die bestehende Literatur behandelt Konsistenzmetriken und Ranking-Genauigkeit oft als getrennte Anliegen und versäumt es, die Beziehung zwischen Intra-Run-Konsistenz (der internen logischen Konsistenz eines einzelnen Satzes von Urteilen) und Inter-Run-Varianz (der Stabilität des Ranking-Ergebnisses über mehrere Durchläufe hinweg) zu untersuchen. Diese Arbeit untersucht, ob diese beiden Achsen der Zuverlässigkeit unabhängig voneinander sind und wie sie sich sowohl in synthetischen als auch in realen LLM-Anwendungen verhalten.

Methodik

Theoretischer Rahmen

Die Autoren schlagen eine $2 \times 2$-Taxonomie der Ranking-Zuverlässigkeit vor, die durch zwei unabhängige Achsen definiert ist:

1. Intra-Run-Konsistenz (IC): Gemessen durch den Koeffizienten der Konsistenz ($\zeta$). Ursprünglich von Kendall und Smith entwickelt, quantifiziert $\zeta$ die Urteilsgüte durch das Zählen kreisförmiger Triaden (Tripel $\{a, b, c\}$, bei denen $a \succ b \succ c \succ a$ gilt) in einem Turniergraphen. Ein Wert von $\zeta = 1$ deutet auf perfekte Transitivität hin, während $\zeta = 0$ maximale Zyklizität anzeigt. Das Paper leitet das asymptotische Verhalten von $\zeta$ ab, wenn die Anzahl der Kandidaten $n$ steigt, und zeigt, dass dies von der Inkonsistenzrate $r$ und einem Skalierungsfaktor abhängt.
2. Inter-Run-Varianz (IV): Gemessen durch die Kendall-$\tau$-Distanz zwischen Rankings, die durch unabhängige Durchläufe derselben Pipeline generiert wurden. Dies erfasst die Stabilität der endgültigen Rangfolge.

Die Autoren charakterisieren theoretisch die Beziehung zwischen $n$, $\zeta$ und $\tau$ unter dem Bradley-Terry-Luce (BTL)-Modell, einem Standard-Generativmodell für paarweise Vergleiche mit bekannter Grundwahrheit.

Experimentelles Design

Die Studie evaluiert diese Metriken in zwei Domänen:

• Zuweisung von Wohnraum für Obdachlose: Verwendung von Datensätzen der Koordinierten Aufnahme in St. Louis (VI-SPDAT, VIF-SPDAT, TAY-VISPDAT) für alleinstehende Erwachsene, Familien und Jugendliche in der Übergangsphase.
• Notaufnahme-Triage: Verwendung von MIMIC-IV-Daten mit ESI-Labels (Emergency Severity Index).

Modelle: Drei führende LLMs wurden lokal getestet: Meta-Llama-3-8B-Instruct, DeepSeek-R1-Distill-Llama-8B und Qwen2.5-7B-Instruct.

Verfahren:

1. Subturnier-Evaluierung: Für jeden Datensatz wurde ein vollständiges Subturnier von $m=30$ Elementen erstellt (435 paarweise Vergleiche pro Modell). $\zeta$ wurde exakt berechnet und die Selbstkonsistenz ($\tau_{cons}$) wurde mittels Bootstrap-Subsampling gemessen.
2. Vollständige Sparse-Pipeline: Die Pipeline wurde auf größeren Mengen ($n$ bis zu 698) mit einer Kanten-Sampling-Wahrscheinlichkeit von $p=0,4$ ausgeführt, um reale Beschränkungen zu simulieren. Die Autoren untersuchten, wie $\hat{\zeta}$ (geschätzt aus spärlichen Daten) und $\tau_{cons}$ mit $n$ skalierten.

Zentrale Beiträge

1. Theoretische Charakterisierung von $\zeta$: Das Paper beweist, dass unter dem BTL-Modell mit fester Diskriminierbarkeit die Inkonsistenzrate $r$ mit $\Theta(1/n^2)$ abnimmt, was dazu führt, dass $\zeta$ mit steigendem $n$ gegen 1 konvergiert. Dies etabliert eine theoretische Baseline, bei der sich die Konsistenz mit zunehmender Skalierung verbessert.
2. Entkopplung der Konsistenzachsen: Durch synthetische Experimente zeigen die Autoren, dass $\zeta$ und $\tau_{cons}$ korreliert, aber nicht redundant sind. Konkret misst $\zeta$ die Qualität des Vergleichssignals (Intransitivität), während $\tau_{cons}$ sowohl von der Qualität des Signals als auch von der Quantität der verfügbaren Vergleiche pro Element abhängt.
3. Empirische Divergenz in Realdaten: Im Gegensatz zum BTL-Modell weist die reale LLM-generierte Datenlage eine konstante Inkonsistenzrate ($r$) mit steigendem $n$ auf. Folglich stabilisiert sich $\zeta$ nahe einem asymptotischen Boden, anstatt wie vorhergesagt mit $n$ zu steigen, während $\tau_{cons}$ aufgrund der Akkumulation von Datenpunkten mit $n$ weiter ansteigt.
4. Modellspezifische Leistungsprofile: Die Studie zeigt, dass kein einzelnes LLM beide Achsen dominiert.
   • LLaMA: Erreicht konsistent die höchste Intra-Run-Konsistenz ($\zeta$), weist jedoch eine geringere Inter-Run-Stabilität auf.
   • Qwen: Erreicht die höchste Inter-Run-Stabilität ($\tau_{cons}$), hat aber die niedrigste Intra-Run-Konsistenz.
   • DeepSeek: Nimmt typischerweise eine Mittelstellung auf beiden Dimensionen ein.

Ergebnisse

• Synthetisches vs. reales Verhalten: In synthetischen BTL-Daten steigt $\zeta$ mit $n$. In realen LLM-generierten Daten bleibt $\zeta$ über verschiedene Werte von $n$ hinweg annähernd konstant, was darauf hindeutet, dass die Inkonsistenzrate $r$ nicht wie in idealisierten Modellen vorhergesagt mit der Skalierung abnimmt.
• Diagnostischer Nutzen: Der Schätzer $\hat{\zeta}$ für spärliche Daten erweist sich als unverzerrt über verschiedene Beobachtungswahrscheinlichkeiten ($p$) hinweg, was es Praktikern ermöglicht, die Vergleichsqualität selbst bei unvollständigen Daten zu schätzen.
• Trade-offs: Das Paper hebt einen kritischen Trade-off hervor: Ein Modell mit hohem $\zeta$ (LLaMA) kann Rankings erzeugen, die intern logisch, aber über verschiedene Durchläufe hinweg instabil sind, während ein Modell mit hohem $\tau_{cons}$ (Qwen) stabile Rankings erzeugen kann, die jedoch intern intransitiv sind.

Bedeutung und Behauptungen

Das Paper behauptet, dass die alleinige Verwendung einer einzigen Metrik (entweder $\zeta$ oder $\tau_{cons}$) unzureichend und potenziell irreführend ist, um die Zuverlässigkeit von LLMs in Aufgaben mit hoher Tragweite zu bewerten.

• Unabhängige Achsen: Die Autoren behaupten, dass Intra-Run-Konsistenz und Inter-Run-Varianz tatsächlich unabhängige Achsen der Zuverlässigkeit sind. Ein System kann intern konsistent, aber instabil sein (niedrige IV, hohe IC), oder stabil, aber intern intransitiv sein (hohe IV, niedrige IC).
• Praktisches Diagnoseprotokoll: Die Autoren schlagen ein zweistufiges Diagnoseverfahren für Praktiker vor:
  1. Führen Sie ein kleines, vollständiges Subturnier aus, um $\zeta$ zu berechnen. Wenn $\zeta$ niedrig ist, ist der Vergleichsprozess selbst fundamental intransitiv, und keine Menge an zusätzlichen Daten wird das Ranking korrigieren können.
  2. Wenn $\zeta$ hoch, aber $\tau_{cons}$ niedrig ist, liegt das Problem in der unzureichenden Datenquantität, nicht in der Signalqualität; die Lösung besteht darin, den Sampling-Anteil zu erhöhen, anstatt das Modell zu ändern.
• Modellauswahl: Die Ergebnisse legen nahe, dass die Modellauswahl domänenspezifisch erfolgen muss. Wenn ein Stakeholder die logische Kohärenz einzelner Urteile priorisiert, kann LLaMA bevorzugt werden. Wenn er die Stabilität des endgültigen Outputs über mehrere Durchläufe hinweg priorisiert, kann Qwen bevorzugt werden.

Das Paper kommt zu dem Schluss, dass die vorgeschlagene Taxonomie einen notwendigen Rahmen bietet, um über einfache Genauigkeitsmetriken hinauszugehen und ein differenzierteres Verständnis der KI-Zuverlässigkeit in Entscheidungen mit weitreichenden Folgen zu erlangen.