💬 NLP

Uncovering Competency Gaps in Large Language Models and Their Benchmarks

Dieses Paper stellt eine unüberwachte Methode vor, die das Konzept der Sparse-Autoencoder-Konzeptaktivierungen nutzt, um sowohl „Modell-Gaps“ (spezifische Schwächen in großen Sprachmodellen) als auch „Benchmark-Gaps“ (Abdeckungs-Imbalancen) automatisch zu identifizieren und zu zerlegen, wodurch eine feingliedrige, konzeptbasierte Evaluierung ermöglicht wird, die bestehende standardisierte Benchmarks ergänzt.

Ursprüngliche Autoren: Maty Bohacek, Nino Scherrer, Nicholas Dufour, Thomas Leung, Christoph Bregler, Stephanie C. Y. Chan

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Maty Bohacek, Nino Scherrer, Nicholas Dufour, Thomas Leung, Christoph Bregler, Stephanie C. Y. Chan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Durchschnittsnote“ verbirgt die Wahrheit

Stellen Sie sich vor, Sie sind ein Schulleiter und bewerten einen neuen Schüler. Sie geben ihm eine Abschlussprüfung und er erhält eine 75 %. Das klingt nach einer „3“ (oder einem „B“), richtig? Gut gemacht.

Aber was wäre, wenn diese 75 % eine Mischung aus 100 % in Mathematik und 0 % in Geschichte sind? Oder was, wenn die Prüfung selbst nur Fragen zu Mathematik gestellt hat und Geschichte völlig ignoriert hat?

Genau das ist das Problem bei der aktuellen Art und Weise, wie wir KI (Large Language Models oder LLMs) testen. Wir geben ihnen normalerweise eine lange Liste von Fragen (einen „Benchmark“) und geben einen einzigen Durchschnittswert an. Die Autoren dieses Papers argumentieren, dass diese einzelne Zahl irreführend ist. Sie verbirgt zwei spezifische Probleme:

Modell-Lücken (Model Gaps): Die KI ist bei bestimmten Dingen tatsächlich schlecht, aber der Durchschnittswert lässt sie gut aussehen.
Benchmark-Lücken (Benchmark Gaps): Der Test selbst ist unfair, weil er nur über bestimmte Themen fragt und andere ignoriert.

Die Lösung: Das „Röntgenblick“-Werkzeug

Um dies zu beheben, haben die Autoren ein neues Werkzeug namens Competency Gaps (CG) entwickelt.

Stellen Sie sich das Gehirn einer KI wie ein riesiges, dunkles Lagerhaus vor, das mit tausenden verschiedenen „Konzepten“ gefüllt ist (wie „wie man programmiert“, „wie man höflich ist“ oder „wie man einen Witz erzählt“). Normalerweise können wir nicht in dieses Lagerhaus hineinsehen; wir sehen nur die endgültige Antwort, die die KI gibt.

Die Autoren verwenden eine spezielle Technologie namens Sparse Autoencoder (SAE). Man kann sich das als Röntgenblick oder als hochmodernes Taschenlampen-System vorstellen. Es leuchtet in das Gehirn der KI und zeigt genau, welche „Konzept-Lichter“ angehen, wenn die KI eine Frage liest.

Anstatt nur zu sagen: „Die KI hat die Frage richtig beantwortet“, sagt dieses Werkzeug: „Die KI hat die Frage richtig beantwortet, und wir wissen, dass sie dabei an ‚Mathematik-Logik‘ und ‚höflichen Tonfall‘ gedacht hat.“

Wie das Werkzeug funktioniert (Die zwei Arten von Lücken)

Mit diesem Röntgenblick untersuchten die Forscher 5 populäre KI-Modelle und über ein Dutzend verschiedene Tests. Dabei fanden sie zwei Hauptarten von „Lücken“:

1. Benchmark-Lücken (Der Test stellt die falschen Fragen)

Stellen Sie sich eine Fahrprüfung vor, bei der Sie nur gefragt werden, wie man an einem sonnigen Tag auf einer geraden Autobahn fährt. Sie bestehen mit Bravour. Aber der Test hat nie gefragt, wie man bei Regen fährt oder sich in einer belebten Stadt bewegt.

Die Erkenntnis: Die Forscher fanden heraus, dass viele populäre KI-Tests wie diese sonnige Autobahn-Fahrprüfung sind. Sie konzentrieren sich stark auf Dinge wie das „Befolgen von Anweisungen“ oder das „Sprechen über Sport“.
Das fehlende Stück: Die Tests ignorieren oft wichtige Konzepte wie „wie man höflich Nein sagt“ oder „wie man zugibt, etwas nicht zu wissen“. Da der Test diese Fragen nie stellt, bekommt die KI nie die Chance, zu zeigen, dass sie dies kann (oder es zu lernen).

2. Modell-Lücken (Die KI ist bei spezifischen Dingen schlecht)

Nun stellt sich die KI der Prüfung. Der Röntgenblick zeigt uns genau, wo sie Schwierigkeiten hat.

Die Erkenntnis: Die KI-Modelle waren sehr gut in „MINT“-Aufgaben (wie Programmieren oder Mathematik) und darin, „sycophantisch“ zu sein (dem Nutzer zuzustimmen und übermäßig hilfreich zu sein).
Die Schwäche: Die Modelle waren überraschend schlecht in:
- Zeit: Das Verständnis von Daten, Garzeiten oder historischen Epochen.
- Grenzen: Höflich unangemessene Anfragen abzulehnen oder zu wissen, wann man aufhören muss.
- Logik: Dinge wie zu prüfen, ob ein Wort ein Palindrom ist (vorwärts und rückwärts gelesen gleich bleibt) oder einfache mathematische Additionen durchzuführen.

Warum das wichtig ist

Die Autoren haben gezeigt, dass ihre Methode automatisch und skalierbar ist. Sie mussten nicht manuell tausende Fragen lesen, um diese Lücken zu finden. Der Computer hat es getan, indem er nach den „Lichtern“ im Gehirn der KI gesucht hat.

Sie haben auch bewiesen, dass selbst wenn man eine etwas andere „Taschenlampe“ verwendet (einen anderen SAE, der auf einem anderen Modell trainiert wurde), man immer die gleichen allgemeinen Muster sieht. Das bedeutet, dass das Werkzeug zuverlässig ist.

Das Fazit

Das Paper führt einen Weg ein, weg von der Betrachtung der „Durchschnittsnote“ einer KI hin zur Betrachtung eines „Zeugnisses“ für jede einzelne Fähigkeit.

Für Test-Ersteller: Es zeigt ihnen, welche Themen sie vergessen haben zu testen (wie „höfliche Ablehnung“), damit sie bessere Fragen formulieren können.
Für KI-Entwickler: Es zeigt ihnen genau, wo ihre KI schwach ist (wie „Zeitmanagement“ oder „Nein sagen“), damit sie diese spezifischen Probleme beheben können, anstatt nur versuchen zu können, die allgemeine Punktzahl zu erhöhen.

Die Autoren haben sogar eine kostenlose, interaktive Website veröffentlicht, auf der jeder dieses Werkzeug nutzen kann, um diese Lücken selbst zu erforschen und so die „Black Box“ der KI in etwas zu verwandeln, das wir tatsächlich sehen und verstehen können.

Technisches Resümee: Aufdeckung von Kompetenzlücken in Large Language Models und deren Benchmarks

1. Problemstellung

Die Evaluierung von Large Language Models (LLMs) stützt sich derzeit stark auf standardisierte Benchmarks, die aggregierte Scores (z. B. Genauigkeit, pass@k) melden. Während diese nützlich sind, verschleiern diese Aggregationen zwei kritische Probleme:

Modelllücken (Model Gaps): Spezifische Teilbereiche oder Konzepte, in denen Modelle systematisch unterperformen, welche durch hochgradige aggregierte Metriken maskiert werden.
Benchmark-Lücken (Benchmark Gaps): Ungleichgewichte in der Abdeckung von Konzepten innerhalb der Benchmarks selbst. Bestehende semantische Annotationen (z. B. handkuratierte Themen) sind oft grobkörnig, manuell kuratiert und schwer skalierbar, was zu einem mangelnden feinkörnigen Verständnis der Modellkapazitäten und Benchmark-Verteilungen führt.

Aktuelle Methoden versäumen es oft, eine skalierbare, feinkörnige Sicht darauf zu bieten, wie spezifische Konzepte, Kontexte und Denkprozesse mit der realen Nutzung zusammenhängen, was das Risiko birgt, bestimmte Konzepte systematisch übermäßig zu testen, während andere vernachlässigt werden.

2. Methodik: Kompetenzlücken (Competency Gaps, CG)

Die Autoren schlagen Competency Gaps (CG) vor, eine automatisierte, unüberwachte Methode zur Identifizierung sowohl von Modell- als auch von Benchmark-Lücken mittels Sparse Autoencoders (SAEs).

Kernmechanismus

Die Methode nutzt SAEs, um die internen Repräsentationen eines LLMs in dünnbesetzte (sparse), interpretierbare Merkmalsvektoren (SAE-Konzeptaktivierungen) zu zerlegen.

Konzept-Lexikon (Concept Dictionary): Jede Dimension des SAE-Vektors entspricht einem distinkten Konzept (z. B. „Codierungssyntax“, „höfliche Ablehnung“). Diesen Konzepten werden Textlabels über Autointerpretierbarkeitsmethoden zugewiesen, was ein festes „Konzept-Lexikon“ bildet (das oft tausende bis Millionen von Konzepten umfasst).
Aktivierungsskorierung (Activation Scoring): Für einen gegebenen Datenpunkt (Token-Sequenz $x_i$ ) wird die Aktivierung eines Konzepts $c$ berechnet, indem die SAE-Aktivierungswerte über alle Token summiert und durch die Sequenzlänge normiert werden, um einen Verbositäts-Bias zu verhindern.

Metriken

Die Methode definiert zwei primäre Metriken, die im SAE-Konzeptraum fundiert sind:

Benchmark-Lücken (Abdeckung/Coverage):
- Pro-Benchmark-Abdeckung ( $\chi^{(b,c)}_{bench}$ ): Misst die Aktivierung des Konzepts $c$ in Benchmark $b$ im Verhältnis zur durchschnittlichen Aktivierung aller Konzepte in diesem Benchmark.
- Benchmark-übergreifende Abdeckung ( $\bar{\chi}^{(c)}_{bench}$ ): Die mittlere Abdeckung des Konzepts $c$ über eine Suite von Benchmarks hinweg.
- Identifizierung von Lücken: Konzepte mit einer Abdeckung unter einem Schwellenwert (z. B. unterstes Dezil oder nahe Null) werden als unterrepräsentiert oder fehlend markiert.
Modell-Lücken (Leistung/Performance):
- Pro-Benchmark-Modellleistung ( $\chi^{(b,c)}_{model}$ ): Ein gewichteter Durchschnitt der Modellleistung auf Datenpunkten, bei denen das Konzept $c$ aktiv ist.
- Benchmark-übergreifende Modellleistung ( $\bar{\chi}^{(c)}_{model}$ ): Die mittlere Leistung über Benchmarks hinweg für das Konzept $c$ .
- Identifizierung von Lücken: Konzepte, bei denen das Modell schlecht abschneidet (niedriges $\bar{\chi}^{(c)}_{model}$ ), werden als Modell-Lücken identifiziert.

Workflow

Der vorgeschlagene Workflow umfasst:

Auswahl einer Suite von Benchmarks.
Berechnung der CG-Scores (Abdeckung und Leistung) für alle Konzepte im SAE-Lexikon.
Identifizierung von Lücken (geringe Abdeckung oder geringe Leistung).
Verwendung eines LLMs, um diese Konzepte zu clustern und die Ergebnisse zu interpretieren (z. B. Gruppierung von „Zeit“-Konzepten oder „Grenzensetzung“-Konzepten).

3. Zentrale Beiträge

Automatisierte Lückenidentifizierung: Eine systematische, skalierbare Methode zur Aufdeckung sowohl von Modellschwächen als auch von Benchmark-Abdeckungs-Lücken ohne manuelle Annotation.
Fundierte Evaluierung: Durch die Verwendung interner SAE-Repräsentationen des Modells stellt die Methode sicher, dass die identifizierten Lücken die tatsächliche interne Verfassung des Modells widerspiegeln und nicht auf potenziell falsch ausgerichteten externen Embeddings basieren.
Modell- und Benchmark-übergreifende Anwendbarkeit: Die Methode wurde an fünf populären Open-Source-Modellen (Gemma2, Llama3.1, Mistral, Qwen3, DeepSeek-R1) und über ein Dutzend diverser Benchmarks (einschließlich MATH, GSM8K, MMLU, GPQA und Arena-Style-Benchmarks) demonstriert.
Open-Source-Tooling: Veröffentlichung des Codes der Methode sowie einer interaktiven Web-Applikation zur Exploration von Modellkapazitäten und Benchmark-Balance.

4. Ergebnisse

Die Autoren wandten CG auf fünf Modelle und zehn statische Benchmarks an, was mehrere zentrale Erkenntnisse lieferte:

Benchmark-Lücken

Verzerrte Repräsentation: Benchmark-Suites weisen stark rechtsschiefe Abdeckungsverteilungen auf. Eine kleine Anzahl von Konzepten (z. B. „Diskussionen über die englische Premier League“, „neue Konversationsgrenzen“) ist überrepräsentiert, während viele andere untertestet werden.
Fehlende Kernkonzepte: Die Analyse identifizierte 314 Konzepte (1 % des Lexikons), die in der Benchmark-Suite vollständig fehlen. Dazu gehörten kritische metakognitive Konzepte (z. B. „Assistent erklärt Einschränkungen“, „regulatorische Compliance“) und juristische Konzepte.
Spezifische Benchmark-Defizite: Es wurde festgestellt, dass einzelne Benchmarks Konzepte vermissen, die zentral für ihre Zielsetzung sind. Beispielsweise fehlten bei AGI Eval Konzepte im Zusammenhang mit einer „gründlichen und objektiven Bewertung von Evidenz“, und Social IQA fehlten Konzepte bezüglich „Anweisungen, wie sich jemand verhalten sollte“.

Modell-Lücken

Leistungsverteilung: Modelle zeigten eine hohe Varianz in der Leistung über verschiedene Konzepte hinweg.
Stärken: Modelle schnitten am besten bei STEM-Aufgaben (Codierung, Datenverarbeitung) und hilfreichen Verhaltensweisen (positive Stimmung, Hilfsbereitschaft) ab.
Schwächen (validiert): Die Methode deckte bekannte Schwächen auf, wie etwa die schlechte Leistung bei zeitbezogenen Konzepten (z. B. „Kochzeiten“) sowie bei Anweisungen zur Bildmanipulation und Palindrom-Logik.
Schwächen (neu): Die Methode identifizierte zuvor ununtersuchte Lücken, wie etwa „Appelle an die Intuition beim Schlussfolgern“ und „Grokking/tiefes intuitives Verständnis“.
Sycophancy vs. Grenzen: Ein wiederkehrendes Thema war, dass Modelle bei sykophantischen/hilfreichen Konzepten gut abschnitten, aber bei Konzepten, die eine höfliche Ablehnung oder die Wahrung professioneller Grenzen erfordern, schlecht performten.

Robustheit

SAE-Unabhängigkeit: Die Methode lieferte qualitativ ähnliche Ergebnisse, wenn ein auf einem anderen Modell trainierter SAE verwendet wurde (z. B. die Verwendung eines Gemma-SAE zur Analyse von Llama), was darauf hindeutet, dass der Ansatz robust gegenüber dem spezifisch verwendeten SAE ist, wenngleich modellspezifische SAEs eine höhere Präzision bieten.
Stabilität: Die Scores blieben unter zufälliger Subsampling-Daten stabil (geringe Standardabweichung) und reagierten erwartungsgemäß auf adversarielle Perturbationen (das Entfernen von High-/Low-Performance-Datenpunkten verschob die aggregierten Scores wie erwartet).

5. Bedeutung und Ansprüche

Das Paper behauptet, dass die Competency Gaps-Methode eine notwendige Ergänzung zu bestehenden Benchmarks darstellt, indem sie eine Konzept-Ebene-Dekomposition des Modellverhaltens bietet.

Für Benchmark-Entwickler: Die Methode hilft dabei, „Benchmark-Lücken“ zu identifizieren – Kernkonzepte, die im Rahmen eines Benchmarks liegen sollten, aber derzeit fehlen. Dies ermöglicht eine iterative Verbesserung des Benchmark-Designs, um eine ausgewogene Abdeckung zu gewährleisten.
Für Modell-Entwickler: Sie deckt spezifische „Modell-Lücken“ (Schwächen) auf, die durch aggregierte Scores möglicherweise übersehen werden, insbesondere in Bezug auf Sicherheit, Grenzen und Metakognition.
Systemische Erkenntnis: Die Autoren heben eine Verflechtung zwischen Benchmark- und Modell-Lücken hervor: Benchmarks, die bestimmte Konzepte (z. B. Befolgung von Instruktionen) überrepräsentieren, können Modelle unbeabsichtigt dazu bewegen, für diese spezifischen Konzepte zu optimieren, während andere (z. B. kalibrierte Verweigerung) vernachlässigt werden, was einen Rückkopplungseffekt von enger Kompetenz schafft.

Die Autoren betonen, dass die Methode zwar leistungsstark ist, aber auf den SAE-Konzeptraum beschränkt ist; sie kann keine Lücken für Konzepte detektieren, die das Modell intern nicht repräsentiert. Zudem merken sie an, dass eine Konzeptaktivierung nicht mit einer Fähigkeit gleichzusetzen ist; die Methode beruht auf der gemeinsamen Diagnose von Aktivierung und Benchmark-Leistungswerten.

Das Werk schließt mit dem Angebot eines Werkzeugs an die Community, um über aggregierte Scores hinauszugehen und zu einer transparenteren, interpretierbaren und feinkörnigerenem Verständnis der Kompetenzen von LLMs zu gelangen.