💬 NLP

Large Language Model Selection with Limited Annotations

Der Artikel stellt SELECT-LLM vor, ein neuartiges Framework, das den erwarteten Informationsgewinn, der aus paarweisen Modelloutput-Ähnlichkeiten abgeleitet wird, nutzt, um aktiv eine minimale Menge von Abfragen für die Annotation auszuwählen, wodurch die Evaluierungskosten erheblich gesenkt werden, während gleichzeitig der beste Large Language Model für eine gegebene Aufgabe effektiv identifiziert wird, ohne dass ein Zugriff auf die Modellgewichte erforderlich ist.

Ursprüngliche Autoren: Yavuz Durmazkeser, Patrik Okanovic, Andreas Kirsch, Torsten Hoefler, Nezihe Merve Gürel

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yavuz Durmazkeser, Patrik Okanovic, Andreas Kirsch, Torsten Hoefler, Nezihe Merve Gürel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Personalverantwortlicher, der den perfekten Mitarbeiter für eine sehr spezifische Aufgabe sucht. Sie haben einen riesigen Pool von 156 Kandidaten (diese sind die Large Language Models oder LLMs). Sie wissen, dass alle intelligent sind, aber Sie wissen nicht, welche davon bei Ihrer spezifischen Aufgabe tatsächlich die beste ist.

Normalerweise würden Sie, um dies herauszufinden, jeden einzelnen Kandidaten einen vollständigen Test mit 100 Fragen machen lassen und dann ein Team teurer menschlicher Experten einstellen, um jede einzelne Antwort zu bewerten. Dies ist langsam, teuer und ermüdend.

Die Arbeit stellt eine neue Methode namens SELECT-LLM vor. Denken Sie daran als an einen überaus klugen Bewerbungsassistenten, der den besten Kandidaten findet, indem er ihn nur einen winzigen Bruchteil des Tests machen lässt – vielleicht nur 5 oder 10 Fragen statt 100.

So funktioniert es, mit einfachen Analogien:

Das Problem: Der „Blindgeschmackstest"

Stellen Sie sich vor, Sie haben 156 verschiedene Köche (die KI-Modelle) und Sie wollen denjenigen finden, der die beste Pizza macht.

Der alte Weg: Sie bitten jeden Koch, 100 Pizzen zu kochen. Sie stellen 100 Food-Kritiker ein, um jede einzelne Pizza zu probieren und einen Bericht zu schreiben. Dies kostet ein Vermögen an Zeit und Geld.
Der zufällige Weg: Sie bitten die Köche, nur 5 Pizzen zu kochen, aber Sie wählen diese 5 Fragen zufällig aus. Vielleicht sind alle 5 Köche zufällig großartig beim Käsepizza, aber schrecklich bei Pepperoni. Sie könnten den falschen Gewinner nur durch Pech auswählen.

Die Lösung: SELECT-LLM (Der „kluge Quiz")

SELECT-LLM ist wie ein Detektiv, der genau weiß, welche Fragen die Wahrheit aufdecken werden. Es wählt nicht einfach zufällige Fragen aus; es wählt die informativsten aus.

Hier ist der schrittweise Prozess:

Das Setup: Sie haben einen „Pool" potenzieller Fragen (die Testbank) und eine Liste von Kandidatenmodellen.
Das Ratespiel: Das System betrachtet, was alle Modelle sagen würden, wenn sie eine Frage beantworten würden (ohne dass noch ein Mensch die Antwort bewerten muss).
Der „Meinungsverschiedenheits"-Detektor: Das System fragt: „Wenn ich diese Frage stelle, werden die Top-Kandidaten sehr unterschiedliche Antworten geben?"
- Wenn alle Top-Köche genau dieselbe Antwort geben, ist die Frage nicht sehr nützlich, um sie zu unterscheiden.
- Wenn die besten Köche sehr unterschiedliche Antworten geben, ist diese Frage Gold. Sie ist diejenige, die Ihnen hilft herauszufinden, wer tatsächlich der Beste ist.
Die Auswahl: Das System wählt diese „Gold"-Frage aus und bittet einen menschlichen Experten (den „Orakel"), nur diese eine Antwort zu bewerten.
Das Update: Basierend auf dieser einzigen Bewertung aktualisiert das System seine Rangliste der Köche. Es könnte sagen: „Ah, Koch A hat das richtig gemacht, aber Koch B hat es falsch gemacht. Koch A ist jetzt wahrscheinlicher der Gewinner."
Wiederholung: Es wiederholt diesen Prozess und wählt immer die nächste Frage aus, die die meisten „Meinungsverschiedenheiten" unter den verbleibenden Top-Anwärtern verursacht, bis es zuversichtlich genug ist, einen Gewinner zu wählen.

Warum ist das eine große Sache?

Die Arbeit testete diese Methode an 23 verschiedenen Aufgabentypen (wie Mathematik, Zusammenfassen von Nachrichten, Übersetzen von Sprachen und Beantworten von Wissenschaftsfragen) und 156 verschiedenen KI-Modellen.

Das Ergebnis: SELECT-LLM fand das beste Modell mit bis zu 84 % weniger menschlichen Bewertungen als die nächstbeste Methode.
Die Analogie: Anstatt 100 Kritiker einzustellen, um 100 Pizzen zu probieren, benötigt diese Methode vielleicht nur 15 Kritiker, um 15 Pizzen zu probieren, um genau denselben Gewinner zu finden.

Hauptmerkmale

Es ist „Black-Box"-freundlich: Sie müssen nicht wissen, wie die KI-Modelle im Inneren aufgebaut sind (wie ihr Code oder ihre Gewichte). Sie müssen nur sehen, was sie sagen. Dies funktioniert sowohl für Open-Source-Modelle als auch für teure, geschlossene kommerzielle Modelle (wie die, für die Sie über eine API bezahlen).
Es ist modellagnostisch: Es ist egal, ob die Modelle groß oder klein sind oder welche Sprache sie sprechen. Es betrachtet nur die Ähnlichkeit ihrer Antworten.
Es ist sicher: Selbst wenn es nicht das absolute Modell Nr. 1 auswählt, wählt es fast immer ein Modell, das dem Besten sehr nahe kommt, sodass Sie nicht mit einem schrecklichen Ergebnis enden.

Zusammenfassung

SELECT-LLM ist eine clevere Strategie, um zu verhindern, dass Geld für unnötiges Testen verschwendet wird. Anstatt jedes KI-Modell eine vollständige Prüfung machen zu lassen und Menschen alles bewerten zu lassen, stellt es nur die wenigen richtigen Fragen, um schnell das Superstar-Modell zu identifizieren. Es verwandelt eine massive, teure Suche in eine schnelle, effiziente Jagd.

Technische Zusammenfassung: SELECT-LLM

Problemstellung

Die rasante Verbreitung von Large Language Models (LLMs) hat eine erhebliche Herausforderung bei der Modellauswahl geschaffen. Obwohl moderne LLMs über starke Zero-Shot-Fähigkeiten verfügen, ist ihre relative Leistung stark kontextabhängig und variiert erheblich zwischen Domänen, Aufgaben und Sprachen. Die Identifizierung des optimalen LLM für eine spezifische Anwendung erfordert typischerweise die Bewertung von Kandidaten anhand fest definierter Benchmark-Sets. Allerdings ist das Standard-Benchmarking für die Auswahl zunehmend schwierig einzusetzen, da Benchmarks oft hinter neuen Modellveröffentlichungen zurückbleiben und möglicherweise domänenspezifische Bedürfnisse nicht widerspiegeln.

Eine praktischere Alternative besteht darin, kleine, annotierte Teilmengen von Anfragen zu verwenden, um das beste Modell auszuwählen. Allerdings führt eine zufällige oder heuristikbasierte Auswahl dieser Teilmengen häufig zu einer ineffizienten Nutzung von Annotationsbudgets und scheitert daran, aussagekräftige Leistungsunterschiede zwischen den Kandidaten aufzuzeigen. Während Active Learning für Klassifikationsaufgaben intensiv untersucht wurde, sind bestehende Methoden für generative Settings begrenzt und beschränken Vergleiche oft auf zwei Modelle oder konzentrieren sich auf Tests einzelner Modelle statt auf die Auswahl aus beliebigen Kandidatenpools. Das Kernproblem, das adressiert wird, lautet, wie man unter begrenzten Annotationsressourcen zuverlässig das beste LLM für eine Zielaufgabe und eine Datenverteilung identifizieren kann.

Methodik: SELECT-LLM

Die Autoren schlagen SELECT-LLM vor, ein Framework für die aktive Modellauswahl von LLMs. Das Ziel ist es, eine kleine Menge von $b$ Anfragen (wobei $b \ll n$ ) aus einem Pool von $n$ nicht annotierten Anfragen so auszuwählen, dass deren Annotationen die Unsicherheit bezüglich der Identität des besten Modells maximal reduzieren.

Formulierung

Das Problem wird als Maximierung der gegenseitigen Information zwischen der unbekannten Identität des besten Modells ( $F$ ) und den erworbenen Annotationen ( $A$ ) formuliert. Die Autoren definieren das beste Modell als dasjenige, das über den Anfragesatz hinweg den höchsten durchschnittlichen Leistungswert erzielt, wenn es gegen Ground-Truth-Referenzen evaluiert wird.

Um dies handhabbar zu machen, wählen sie eine probabilistische Formulierung, bei der die Wahrscheinlichkeit einer Modello Ausgabe proportional zu ihrer Ähnlichkeit mit der Referenzantwort ist, gesteuert durch einen Temperaturparameter $\tau$ . Das Ziel ist es, Anfragen auszuwählen, die den erwarteten Informationsgewinn maximieren:
$A_{opt}[b] = \arg \max_{A \subseteq \{(q_i, r_i)\}, |A| \le b} I(F; A)$

Algorithmus und Approximation

Die direkte Berechnung des Informationsgewinns ist für offene Generierung aufgrund des unbeschränkten Referenzraums nicht handhabbar. SELECT-LLM leitet eine handhabbare Auswahlregel durch drei wesentliche Approximationen ab:

Taylor-Approximation: Der logarithmische Term im Ziel der gegenseitigen Information wird mittels einer Taylor-Entwicklung zweiter Ordnung approximiert, wodurch das Ziel in eine quadratische Form umgewandelt wird, die paarweise Vergleiche beinhaltet.
Linearisierung: Das Likelihood-Modell wird lokal linearisiert, indem Unterschiede in Wahrscheinlichkeiten durch Unterschiede in Ähnlichkeitswerten zwischen Modello Ausgaben und potenziellen Referenzen ersetzt werden.
Ähnlichkeitssubstitution: Der Durchschnitt über mögliche Referenzantworten wird durch die Unähnlichkeit zwischen den Kandidaten-Modellausgaben selbst approximiert.

Dies führt zu einer gierigen Auswahlregel (Gleichung 5), die die nächste Anfrage $q_t$ auswählt, indem sie die posterior-gewichtete paarweise Ähnlichkeit zwischen den Kandidaten-Modellausgaben minimiert:
$q_t = \arg \min_{q \in U_t} \sum_{j=1}^{m} \sum_{k=1}^{m} P(F = f_j | A_t) P(F = f_k | A_t) s(f_j(q), f_k(q))$
Intuitiv priorisiert der Algorithmus Anfragen, bei denen die plausibelsten Kandidatenmodelle die unähnlichsten Antworten produzieren, wodurch der Informationsgewinn aus einer einzelnen Annotation maximiert wird.

Modellunabhängiger Charakter

Ein entscheidendes Merkmal von SELECT-LLM ist, dass es ausschließlich auf generierten Modellantworten basiert. Es erfordert keinen Zugriff auf Modellgewichte, Logits oder interne Zustände. Dies macht das Framework sowohl für Open-Weight- als auch für Black-Box-LLMs (nur über API) anwendbar.

Parametersauswahl

Der Temperaturparameter $\tau$ , der die Schärfe der Posterior-Verteilung steuert, wird vor dem aktiven Auswahlprozess gewählt, ohne dass Oracle-Annotationen erforderlich sind. Die Autoren verwenden ein verrauschtes Proxy-Signal, das aus paarweisen Ähnlichkeiten zwischen Modellantworten abgeleitet wird, um eine Gittersuche durchzuführen und den $\tau$ zu identifizieren, der die beste Identifizierungsleistung liefert.

Hauptbeiträge

Erste Formulierung: Nach Kenntnis der Autoren ist dies die erste Formulierung und Untersuchung der aktiven Modellauswahl für LLMs unter begrenzten Annotationsbudgets.
SELECT-LLM-Framework: Ein prinzipiengeleitetes, modellunabhängiges Framework, das gierig Anfragen auswählt, um den Informationsgewinn zu maximieren. Es leitet eine handhabbare Approximation basierend auf paarweisen Ähnlichkeiten zwischen Modellantworten ab und vermeidet damit die Notwendigkeit des Zugriffs auf interne Modellzustände.
Umfassende Evaluierung: Das Framework wurde über 23 diverse Datensätze (abdeckend Reasoning, QA, Zusammenfassung, Übersetzung usw.) und 156 evaluierte Modelle (einschließlich Open-Source- und API-only-Modelle) unter Verwendung mehrerer referenzbasierter Metriken (BERTScore, ROUGE, BLEU, F1, Exact Match usw.) validiert.

Ergebnisse

Die Evaluierung zeigt, dass SELECT-LLM in allen Szenarien konsistent angepasste Baseline-Strategien (einschließlich Random, Margin, Min Agreement, VMA und AMC) übertrifft:

Identifizierung des besten Modells: SELECT-LLM identifiziert das wahre beste Modell mit deutlich weniger Annotationen als die stärkste Baseline. Die Reduktion der Annotationskosten erreichte bis zu 81,8 % (z. B. auf dem XSum-Datensatz mit ROUGE-L).
Auswahl eines nahezu besten Modells: Wenn das Ziel gelockert wird, ein Modell innerhalb einer kleinen Leistungslücke ( $\delta$ ) zum Besten zu identifizieren, erreicht SELECT-LLM noch höhere Effizienz, mit Annotationsreduktionen von bis zu 84,78 %.
Robustheit: In Bezug auf die 95. Perzentil-Leistungslücke (die Worst-Case-Differenz zwischen dem ausgewählten Modell und dem wahren Besten) hält SELECT-LLM konsistent die geringste Lücke über Datensätze und Identifizierungswahrscheinlichkeitsniveaus (70 %, 80 %, 90 %, 100 %) aufrecht, was Robustheit auch in schwierigen Realisierungen zeigt.
Generalisierung: Die Methode funktioniert gut über diverse Aufgabenfamilien und Evaluierungsmetriken hinweg, was darauf hindeutet, dass sie nicht an eine spezifische Bewertungsregel oder Domäne gebunden ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass SELECT-LLM einen praktischen Ansatz für die aktive Modellauswahl in realistischen Black-Box-Szenarien bietet. Indem es sich ausschließlich auf Modellantworten und ein externes Oracle verlässt, schließt es die Lücke zwischen theoretischem Active Learning und den praktischen Einschränkungen des modernen LLM-Einsatzes.

Die Autoren weisen darauf hin, dass die Methode zwar die Annotationskosten für die Modellauswahl erheblich reduziert, aber unter spezifischen Annahmen operiert:

Sie setzt ein zuverlässiges Oracle-Signal (referenzbasierte Evaluierung) anstelle von verrauschten menschlichen Präferenzen oder LLM-as-a-Judge-Systemen voraus.
Sie geht davon aus, dass der Kandidatenpool und der Anfragespool vor Beginn der Auswahl festgelegt sind.

Die Arbeit hebt hervor, dass eine effiziente Auswahl den rigorosen Vergleich von LLMs zugänglicher machen kann, warnt jedoch davor, dass verzerrte Annotationen oder Evaluierungskriterien zu verzerrten Modellentscheidungen führen könnten, insbesondere in sicherheitskritischen Domänen. Die Autoren positionieren dies als einen grundlegenden Schritt hin zu effizienteren und zuverlässigeren LLM-Evaluierungsprotokollen.