🤖 machine learning

PLR: Plackett-Luce for Reordering In-Context Learning Examples

Die Arbeit stellt PLR vor, eine probabilistische Methode zur Optimierung der Reihenfolge von In-Context-Learning-Beispielen mittels des Plackett-Luce-Modells, die durch effizientes Sampling die Few-Shot-Genauigkeit bei Klassifikations- und mathematischen Aufgaben verbessert.

Ursprüngliche Autoren: Pawel Batorski, Paul Swoboda

Veröffentlicht 2026-03-24

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Pawel Batorski, Paul Swoboda

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du möchtest einem sehr klugen, aber etwas verwirrten Roboter (einem großen Sprachmodell wie ChatGPT) beibringen, eine Aufgabe zu lösen. Du kannst ihm keine neuen Daten beibringen oder seinen Code ändern (das wäre zu teuer und aufwendig). Stattdessen gibst du ihm einfach ein paar Beispiele direkt in die Unterhaltung – das nennt man „In-Context Learning".

Das Problem ist: Die Reihenfolge der Beispiele ist alles.

Das Problem: Der verwirrte Koch

Stell dir vor, du bist ein Koch, der einem Roboter-Koch beibringt, wie man Pizza macht.

Szenario A: Du sagst ihm zuerst: „Mache eine Margherita", dann „Mache eine Pepperoni".
Szenario B: Du sagst ihm zuerst: „Mache eine Pepperoni", dann „Mache eine Margherita".

Es stellt sich heraus, dass der Roboter-Koch manchmal viel besser Pizza macht, wenn die Beispiele in einer bestimmten Reihenfolge kommen. Wenn du sie zufällig mischst, kann das Ergebnis katastrophal sein.

Das Problem ist nur: Wenn du 10 Beispiele hast, gibt es 3,6 Millionen mögliche Reihenfolgen (10 Fakultät). Niemand hat Zeit, alle durchzuprobieren. Bisherige Methoden waren wie ein Koch, der einfach nur „Raten" versucht oder sich nur auf eine einzige Regel (z. B. „immer die kürzesten Beispiele zuerst") verlässt. Das funktioniert oft nicht gut.

Die Lösung: PLR – Der „Wahrscheinlichkeits-Detektiv"

Die Autoren dieses Papers haben eine neue Methode namens PLR entwickelt. Statt zu raten oder eine starre Regel zu benutzen, behandeln sie die Reihenfolge wie ein Wahrscheinlichkeitsspiel.

Hier ist die Analogie:

Der unsichere Kartenstapel:
Stell dir vor, du hast einen Stapel mit deinen Beispielen. Zu Beginn weißt du nicht, welche Reihenfolge die beste ist. Also gibst du jedem Beispiel eine „unsichere" Chance, an jeder Position zu landen. Es ist wie ein Stapel Karten, der noch nicht gemischt ist, aber du hast eine grobe Ahnung.
Das „Zittern" (Gumbel-Trick):
Um herauszufinden, welche Reihenfolge gut ist, lässt du den Stapel nicht einfach fallen. Du gibst jedem Beispiel ein kleines, zufälliges „Zittern" (eine mathemische Störung). Dann sortierst du sie neu. Das ist wie wenn du den Stapel Karten leicht schüttelst und dann schnell die obersten Karten nimmst. So erzeugst du schnell viele verschiedene, aber plausible Reihenfolgen, ohne alle 3,6 Millionen durchgehen zu müssen.
Der Test im Restaurant:
Du gibst jede dieser neuen Reihenfolgen dem Roboter-Koch. Er backt eine Pizza (löst die Aufgabe).
- Wenn die Pizza lecker ist (hohe Punktzahl), merkst du dir: „Aha! Diese Reihenfolge war gut!"
- Wenn die Pizza verbrannt ist, merkst du dir: „Schlecht! Diese Reihenfolge war Mist."
Das Lernen (Der Update-Mechanismus):
Jetzt kommt der Clou. Du passt deine „unsichere Ahnung" an.
- Beispiele, die in den guten Reihenfolgen oft ganz oben waren, bekommst du eine höhere Wahrscheinlichkeit, auch in Zukunft oben zu landen.
- Beispiele, die in den schlechten Reihenfolgen oft oben waren, bekommst du eine niedrigere Wahrscheinlichkeit.

Du wiederholst diesen Prozess immer wieder. Nach ein paar Runden hast du keine zufällige Reihenfolge mehr, sondern eine perfekt optimierte Reihenfolge, die der Roboter-Koch am besten versteht.

Warum ist das besonders?

Es funktioniert auch bei Rätseln: Bisherige Methoden brauchten oft eine feste Liste von Antworten (z. B. nur „Ja" oder „Nein"), um zu wissen, was gut ist. PLR funktioniert auch, wenn die Antwort eine lange Geschichte oder eine komplexe Matheaufgabe ist. Es schaut einfach auf das Endergebnis: „War die Lösung richtig?"
Es ist flexibel: Es sucht nicht nach einer perfekten Antwort, sondern lernt eine Verteilung. Das bedeutet, es kann mehrere gute Reihenfolgen gleichzeitig „im Kopf" behalten, falls es mehrere Wege gibt, das Problem zu lösen.

Zusammenfassung in einem Satz

PLR ist wie ein cleverer Trainer, der nicht stur eine Regel befolgt, sondern durch ständiges Ausprobieren und Belohnen der besten Versuche lernt, welche Reihenfolge von Beispielen den Roboter am besten zum Erfolg führt – und das alles, ohne den Roboter selbst neu programmieren zu müssen.

1. Problemstellung

In-Context Learning (ICL) ermöglicht es großen Sprachmodellen (LLMs), Aufgaben zu lösen, indem sie eine kleine Menge an Beispielen (Demonstrationen) im Prompt erhalten, ohne dass die Modellparameter aktualisiert werden müssen. Ein kritisches, aber oft übersehenes Problem ist die Empfindlichkeit gegenüber der Reihenfolge dieser Beispiele.

Herausforderung: Die Leistung eines LLMs kann drastisch schwanken, je nachdem, in welcher Reihenfolge die $n$ Beispiele angeordnet sind.
Suchraum: Die Anzahl möglicher Anordnungen (Permutationen) wächst faktoriell ( $n!$ ). Eine erschöpfende Suche nach der optimalen Reihenfolge ist daher bei realistischen Beispielanzahlen (z. B. $k=16$ oder $32$) rechnerisch unmöglich.
Grenzen bestehender Methoden: Bisherige Ansätze nutzen oft Heuristiken basierend auf Modellkonfidenz (z. B. Entropie) oder Label-Verteilungen. Diese Methoden haben jedoch zwei Hauptnachteile:
1. Sie erfordern oft die Enumeration einer endlichen Label-Menge, was sie für offene Generierungsaufgaben oder mathematisches Reasoning (mit unbegrenzten Antworträumen) ungeeignet macht.
2. Sie suchen oft nach einer einzelnen "besten" Permutation (Punktschätzung), was zu instabilen Ergebnissen führen kann.

2. Methodik: PLR (Plackett–Luce for Reordering)

Die Autoren schlagen PLR vor, einen probabilistischen Ansatz, der die diskrete Suche nach einer Permutation durch das Lernen einer Wahrscheinlichkeitsverteilung über Permutationen ersetzt.

Kernkonzept

Anstatt eine einzige optimale Reihenfolge $\pi^*$ zu suchen, wird eine parametrisierte Verteilung $q_\phi(\pi)$ über den Raum der Permutationen $S_n$ gelernt. Das Ziel ist es, die Parameter $\phi$ so anzupassen, dass Permutationen mit hoher Aufgabenleistung (gemessen durch eine Metrik $f$ ) eine hohe Wahrscheinlichkeitsmasse erhalten.

Das Plackett–Luce (PL) Modell

Verteilung: PLR nutzt das Plackett–Luce-Modell, das eine Wahrscheinlichkeitsverteilung über Permutationen definiert, parametrisiert durch einen Score-Vektor (Logits) $\theta \in \mathbb{R}^n$ .
Mechanismus: Ein Item wird an Position $r$ mit einer Wahrscheinlichkeit proportional zu seinem exponentiierten Score ausgewählt, gegeben die noch verbleibenden Items.
Erweiterung (Mixture of PL): Um komplexe Abhängigkeiten zu modellieren (da ein einzelnes PL-Modell die "Independence of Irrelevant Alternatives"-Eigenschaft hat und Interaktionen zwischen spezifischen Positionen nicht gut abbilden kann), wird eine Mischung aus mehreren PL-Verteilungen verwendet. Dies ermöglicht die Modellierung multimodaler Verteilungen (d. h. mehrere verschiedene gute Reihenfolgen).

Sampling und Optimierung

Gumbel-Perturb-and-Sort: Um effizient aus der PL-Verteilung zu sampeln, wird der "Gumbel-Trick" verwendet. Anstatt sequenzielle Softmax-Entscheidungen zu treffen, werden den Logits Gumbel-Rauschen addiert ( $s_i = \theta_i + g_i$ ), und die Items werden nach den gestörten Scores sortiert. Dies ist numerisch stabil und parallelisierbar.
Iterativer Lernprozess (Algorithmus 1):
1. Initialisierung: Start mit einer uniformen Verteilung.
2. Sampling: Es werden $B$ Permutationen via Gumbel-Trick gesampelt.
3. Evaluation: Jede Permutation wird auf einem Trainingsset bewertet.
4. Elite-Auswahl: Die Top- $K$ (Elite) Permutationen werden basierend auf ihrer Leistung ausgewählt.
5. Update: Die Parameter $\theta$ werden angepasst, um die Wahrscheinlichkeit der Elite-Permutationen zu erhöhen.
Update-Strategien: Die Autoren stellen drei Methoden vor:
1. EMA (Exponential Moving Average): Ein heuristischer Update basierend auf dem durchschnittlichen Rang der Elite-Permutationen.
2. MLE (Maximum Likelihood Estimation): Anpassung der Logits, um die Likelihood der Elite-Permutationen zu maximieren.
3. EM (Expectation-Maximization): Für Mischungsmodelle, um die Gewichte der Komponenten und deren Logits iterativ zu optimieren.

3. Wichtige Beiträge

Konzeptioneller Beitrag: Einführung von PLR als erster distributioneller Ansatz für das ICL-Beispiel-Ordering. Im Gegensatz zu label-basierten Heuristiken ist PLR label-raum-agnostisch und funktioniert somit auch bei offenen Generierungsaufgaben und mathematischem Reasoning.
Algorithmischer Beitrag: Entwicklung eines effizienten iterativen Algorithmus, der PL-Verteilungen (und deren Mischungen) durch Sampling und Update-Regeln (EMA, MLE, EM) optimiert. Die Nutzung des Gumbel-Tricks ermöglicht effizientes Sampling im großen Suchraum.
Experimenteller Beitrag: Umfassende Evaluation auf Klassifikations- und Reasoning-Benchmarks, die zeigt, dass PLR konsistent besser abschneidet als bestehende Baselines.

4. Ergebnisse

Die Evaluation wurde auf mehreren Datensätzen (MR, SST-5, TREC, AG News, SUBJ) und Reasoning-Benchmarks (GSM8K, DeepMath, Math500) mit Modellen wie Qwen2.5-7B und Llama3.1-8B durchgeführt.

Klassifikation: PLR-Varianten (insbesondere PLR-EMA und PLR-4) erreichen konsistent die besten oder zweitbesten Ergebnisse über verschiedene Anzahlen von ICL-Beispielen ( $k \in \{4, 8, 16, 32\}$ ). Der Vorteil gegenüber einfachen Baselines (wie "Static" oder zufälliges "Top-K") wächst mit der Anzahl der Beispiele, da der Suchraum größer wird.
Reasoning: Auf mathematischen Benchmarks, wo label-basierte Methoden (wie LocalE/GlobalE) nicht anwendbar sind, übertrifft PLR die Baselines deutlich. Dies beweist, dass das Lernen einer Verteilung über Ordnungen auch für offene Aufgaben effektiv ist.
Ablationsstudien:
- Eine kleine Mischungskomponente ( $K=4$ ) reicht oft aus, um die dominanten Modi guter Ordnungen zu erfassen.
- Die Wahl des Elite-Anteils ( $\rho$ ) ist kritisch; $\rho=0.2$ erwies sich als robust.
- Es besteht eine klare monotone Beziehung: Permutationen mit höherer Wahrscheinlichkeit unter der gelernten PL-Verteilung führen tendenziell zu höherer Testgenauigkeit.

5. Bedeutung und Fazit

PLR adressiert eine fundamentale Schwäche im Prompt Engineering: die Instabilität durch die Reihenfolge von ICL-Beispielen.

Paradigmenwechsel: Statt nach einer einzelnen "magischen" Reihenfolge zu suchen, modelliert PLR den Unsicherheitsraum der Ordnungen und lernt eine robuste Verteilung.
Allgemeingültigkeit: Da die Methode keine Annahmen über die Struktur der Labels macht, ist sie universell einsetzbar, auch dort, wo andere Methoden versagen (z. B. bei mathematischen Aufgaben).
Zukunftsausblick: Die Autoren sehen Potenzial, diesen probabilistischen Ansatz auf andere Optimierungsprobleme im Prompt Engineering zu übertragen, wie z. B. die gleichzeitige Auswahl und Anordnung von Beispielen aus einem großen Pool oder die Kombination mit Instruction-Optimierung.

Zusammenfassend bietet PLR einen effizienten, theoretisch fundierten und empirisch überlegenen Weg, um die Leistung von LLMs im In-Context Learning durch optimierte Beispielreihenfolgen zu steigern.