💬 NLP

Probing the Knowledge Boundary: An Interactive Agentic Framework for Deep Knowledge Extraction

Dieser Artikel schlägt ein interaktives, agentenbasiertes Framework mit adaptiven Explorationsrichtlinien und einer rigorosen Verarbeitungspipeline vor, um die Wissensgrenzen von Large Language Models systematisch zu extrahieren und zu quantifizieren, wodurch eindeutige Skalierungsgesetze des Wissens, Leistungskompromisse zwischen spezialisierten und allgemeinen Modellen sowie messbare Unterschiede in Wissensprofilen, die durch die Zusammensetzung der Trainingsdaten getrieben werden, aufgedeckt werden.

Ursprüngliche Autoren: Yuheng Yang, Siqi Zhu, Tao Feng, Ge Liu, Jiaxuan You

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuheng Yang, Siqi Zhu, Tao Feng, Ge Liu, Jiaxuan You

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich Large Language Models (LLMs) als riesige, versiegelte Bibliotheken vor. Wir wissen, dass sie viele Bücher (Wissen) enthalten, aber wir wissen nicht genau, wie viele Bücher auf den Regalen stehen, welche davon echt sind und wo die Regale enden. Normalerweise testen wir diese Bibliotheken, indem wir einem Bibliothekar ein paar zufällige Fragen aus einer vorab geschriebenen Liste stellen. Doch diese Arbeit argumentiert, dass diese Methode fehlerhaft ist: Es ist, als würde man eine Bibliothek durch ein Schlüsselloch inspizieren. Man könnte die überwältigende Mehrheit der Sammlung verpassen und kann nicht feststellen, ob der Bibliothekar Dinge erfindet oder einfach nur das wiederholt, was er tausendmal gehört hat.

Die Autoren schlagen eine neue Methode vor, um diese Bibliotheken zu erkunden: Das Interaktive Agenten-Framework. Denken Sie dabei nicht an einen einzelnen Bibliothekar, sondern an ein Team von Entdeckern, die mit einer spezifischen Mission in die Bibliothek geschickt werden: jeden einzelnen einzigartigen Fakt zu finden, den sie können, egal wie obskur er ist.

So funktioniert ihr System, aufgeschlüsselt in einfache Konzepte:

1. Die vier Erkundungsstrategien (Die Entdecker)

Das Team testete vier verschiedene Wege, um Informationen vom Modell abzufragen, um herauszufinden, welche Methode am tiefsten gräbt:

Der Ansatz „Einfach weiterfragen" (Sequenziell): Dies ist, als würde man einen Freund fragen: „Erzähl mir von Katzen", dann „Erzähl mir mehr", dann „Erzähl mir noch mehr". Die Autoren stellten fest, dass dies schnell an eine Wand stößt. Das Modell wird gelangweilt oder gerät in eine Schleife und wiederholt dieselben offensichtlichen Fakten.
Der Ansatz „Selbstkorrektur" (Reflexion): Hier wird das Modell aufgefordert, seine eigenen vorherigen Antworten zu überprüfen, Lücken zu finden und diese zu füllen. Es ist wie ein Schüler, der seine Hausaufgaben prüft, bevor er sie abgibt. Es hilft ein wenig, aber es hat immer noch Schwierigkeiten, tiefe, verborgene Fakten zu finden.
Der Ansatz „Panel von Experten" (Multi-Perspektivisch): Das System erstellt verschiedene Personas (z. B. einen Anwalt, einen Ingenieur, einen Historiker) und bittet sie alle, über dasselbe Thema zu sprechen. Dies bringt verschiedene Perspektiven ein, kann aber unübersichtlich und redundant werden.
Der Ansatz „Baumkletterer" (Rekursive Taxonomie): Dieser war der Gewinner. Stellen Sie sich vor, die Bibliothek ist von einem riesigen Baum organisiert. Sie beginnen am Stamm (das Hauptthema), klettern dann einen Ast hinauf (ein Unterthema), dann einen kleineren Zweig (ein spezifisches Detail) und erreichen schließlich die Blätter (winzige, spezifische Fakten). Indem das Modell gezwungen wird, ein großes Thema in immer kleinere Teile zu zerlegen, wird es gezwungen, seine „Komfortzone" zu verlassen und seltene, Long-Tail-Wissen zutage zu fördern, das es normalerweise verbirgt.

2. Das Qualitätssicherungsteam (Der Wissensprozessor)

Sobald die Entdecker einen Berg an Informationen zurückbringen, ist es ein Chaos. Einige Fakten sind Duplikate, einige sind Unsinn, und einige sind nur das Modell, das sagt „Das ist wichtig", ohne tatsächlich zu sagen, was wichtig ist. Die Autoren bauten einen dreistufigen Filter, um dies zu bereinigen:

Stufe 1: Der schnelle Scan (Vektor-Filterung): Ein Computerprogramm scannt die Liste schnell und wirft alles weg, das zu 92 % identisch mit etwas aussieht, das bereits gefunden wurde. Es ist wie ein Türsteher in einem Club, der Ausweise prüft, um offensichtliche Duplikate zu stoppen.
Stufe 2: Der intelligente Richter (LLM-Adjudikation): Manchmal sehen zwei Fakten unterschiedlich aus, bedeuten aber dasselbe, oder sehen ähnlich aus, bedeuten aber das Gegenteil. Eine intelligentere KI (der „Richter") liest diese schwierigen Paare und entscheidet, ob sie wirklich einzigartig sind oder nur umformulierte Versionen desselben Faktums.
Stufe 3: Der Relevanzcheck (Domänen-Auditierung): Der letzte Filter prüft: „Ist dies tatsächlich nützliches Wissen?" Er wirft „Füllmaterial" (wie „Deep Learning ist cool") weg und behält nur konkrete Fakten, Prinzipien oder schrittweise Methoden.

3. Was sie entdeckten (Die Erkenntnisse)

Das Gesetz „Größe zählt"
Sie testeten Modelle unterschiedlicher Größen (klein, mittel und riesig). Sie fanden ein klares Muster: Größere Modelle wissen mehr. Je größer das Modell wurde, desto mehr einzigartige Fakten konnte es abrufen. Allerdings wusste das größte Modell nicht nur mehr, sondern es wusste tiefere Fakten, die die kleineren Modelle völlig verpassten.

Der Kompromiss „Spezialist vs. Generalist"
Sie verglichen ein „Allgemeines" Modell (gut in allem) mit einem „Spezialisten"-Modell (speziell für das Codieren trainiert).

Der Spezialist: Auf seiner eigenen Spur (Codieren) begann er sehr präzise und selbstbewusst. Doch als das Team weiter nach mehr Fakten fragte, brach die Leistung des Spezialisten zusammen. Ihm gingen die Dinge aus, die er sagen konnte, und er begann, sich zu wiederholen oder Fehler zu machen.
Der Generalist: Er begann etwas weniger selbstbewusst, hielt aber ein gleichmäßiges Tempo. Er ging nicht aus und konnte viel länger neue Fakten zutage fördern.
Die Lehre: Die Spezialisierung eines Modells macht es am Anfang großartig, aber sie verengt seine Welt. Wenn Sie einen Codierungsspezialisten nach Mathematik fragen, vergisst er fast alles, was er wusste.

Die „Trainingsdaten"-Fingerabdrücke
Schließlich betrachteten sie Modelle verschiedener Unternehmen (Meta, Alibaba, DeepSeek), die ungefähr die gleiche Größe hatten. Obwohl sie gleich groß waren, hatten sie sehr unterschiedliche „Wissensprofile".

Ein Modell war großartig in Technik und Code, aber schwächer in der Theorie.
Ein anderes war ein Theorie-Genie, aber weniger praktisch.
Das Fazit: Es geht nicht nur darum, wie groß das Gehirn ist; es geht darum, welche Bücher ihm während des Trainings gefüttert wurden. Die Trainingsdaten hinterlassen einen dauerhaften Fingerabdruck darauf, was das Modell weiß und wie gut es es weiß.

Zusammenfassung

Diese Arbeit stellt eine neue Methode vor, um das Wissen innerhalb von KI zu „kartieren". Anstatt nur ein paar Fragen zu stellen, verwenden sie eine intelligente, rekursive Baumkletter-Strategie, um umfassend nach Fakten zu graben, und nutzen dann einen strengen dreistufigen Filter, um sicherzustellen, dass nur echtes, einzigartiges Wissen gezählt wird. Sie fanden heraus, dass Struktur Zufall schlägt, größere Modelle mehr wissen und die Spezialisierung eines Modells es spröde machen kann, während die spezifischen Daten, mit denen es trainiert wurde, seine gesamte Persönlichkeit prägen.

Technische Zusammenfassung: Erkundung der Wissensgrenze

Problemformulierung

Large Language Models (LLMs) fungieren als komprimierte Wissensdatenbanken, doch Umfang und Beschaffenheit ihres internen Wissens bleiben undurchsichtig. Bestehende Evaluierungsparadigmen stützen sich stark auf statische Benchmarks (z. B. MMLU) und vordefinierte Fragenmengen, die Risiken der Datenkontamination bergen und versagen, das kontinuierliche Spektrum der Wissensabdeckung eines Modells aktiv zu erkunden. Darüber hinaus zeigen LLMs eine starke Trägheit, innerhalb einer „Komfortzone" hochwahrscheinlicher Token zu verbleiben, und geben bei direkter Abfrage oft generisches oder repetitives oberflächliches Wissen aus.

Die Kernherausforderung besteht darin, die extrahierbare Wissensgrenze zu definieren und zu messen: die Menge eindeutiger, valider Wissensatome, die aus einem Black-Box-LLM unter einem festen interaktiven Ablauf extrahiert werden können. Dies erfordert einen Schritt über einfache Genauigkeitsmetriken hinaus hin zu einer auf Sättigung basierenden Evaluierung, die zwischen latenter Kapazität (was das Modell weiß) und oberflächlicher Realisierung (was das Modell bereit ist auszudrücken) unterscheidet.

Methodik

Die Autoren schlagen ein interaktives agentenbasiertes Framework vor, das darauf ausgelegt ist, LLM-Wissen systematisch zu extrahieren und zu quantifizieren. Das System arbeitet als geschlossener Regelkreis, der aus zwei Kernmodulen besteht:

1. Agentenbasierte Erkundungsstrategien

Um die Output-Trägheit zu überwinden, setzt das Framework vier adaptive Strategien ein, um Wissen auf verschiedenen Granularitäten zu erkunden:

Sequentielle assoziative Erkundung: Eine Baseline, bei der der Agent iterativ auf Basis einer flachen Interaktionshistorie nach weiteren Punkten fragt.
Selbstreflektierende Verfeinerung: Eine Kritiker-Akteur-Schleife, in der das Modell seine vorherigen Ausgaben auditieren, fehlende Teilbereiche identifizieren und gezielte Prompts zur Schließung von Lücken generieren.
Rekursiver Taxonomie-Explorer: Eine hierarchische Suchstrategie, die ein Themenfeld rekursiv in einen Baum von Unterbereichen zerlegt. Agenten erschöpfen die Blattknoten vollständig, um das Modell über dominante Konzepte hinaus in parametrisches Langschwanzwissen zu zwingen.
Multi-perspektivische parallele Erkundung: Die Instanziierung mehrerer unterschiedlicher Experten-Personas (z. B. Ingenieur, Ethiker), um Nuancen aufzudecken, die ein einzelner neutraler Agent übersehen könnte.

2. Wissensverarbeitungs-Pipeline

Um die Qualität der extrahierten Kenntnisse zu gewährleisten, filtert eine dreistufige Pipeline die Rohausgaben:

Vektorbasierte Filterung: Nutzt Embedding-Modelle, um Paare mit hoher kosinischer Ähnlichkeit ( $S > 0,92$ ) zu mergen und strikte Duplikate zu entfernen.
LLM-basierte Adjudikation: Ein stark auf Reasoning ausgelegtes Modell fungiert als Richter für mehrdeutige Paare ( $0,70 < S < 0,92$ ), um semantische Überlappungen und logische Verneinungen aufzulösen.
Audit der Domänenrelevanz: Ein finaler Filter validiert Atome gegen Kriterien der Bloom'schen Taxonomie (Faktisch, Konzeptuell, Prozedural). Er lehnt Meta-Aussagen, generische Behauptungen und unvollständige Fragmente ab und stellt sicher, dass nur gültiges Domänenwissen erhalten bleibt.

Abbruchkriterien: Die Extraktion stoppt, wenn eine Wissenssättigung erkannt wird, definiert durch eine Wachstumsrate $<1\%$ , eine Effizienz $<10\%$ , weniger als 3 neue Atome oder das Erreichen eines Maximums von 15 Runden.

Hauptbeiträge

Formale Problemdefinition: Die Arbeit etabliert eine formale Formulierung für das Erkunden von Wissensgrenzen bei Black-Box-Modellen und vollzieht den Wechsel von statischen Benchmark-Tests hin zu dynamischen, auf Sättigung basierenden interaktiven Evaluierungen.
Neues Framework: Es wird ein Multi-Agenten-Framework vorgestellt, das den Wissensraum adaptiv navigiert und bei der Aufdeckung tiefen, langschwanzigen Wissens naive Prompting-Methoden sowie Standard-Chain-of-Thought-Baselines signifikant übertrifft.
Empirische Charakterisierung: Durch vier systematische Experimente charakterisieren die Autoren die Wissens-Topologie von Black-Box-LLMs und enthüllen Skalierungsgesetze, Zielkonflikte in der Spezialisierung sowie den Einfluss von Trainingsdaten.

Experimentelle Ergebnisse

1. Wirksamkeit der Strategien

Die Strategie Rekursive Taxonomie (speziell mit einem Verzweigungsfaktor von 5 und einer Tiefe von 5) erwies sich als Pareto-optimale Extraktionsstrategie. Sie erreichte eine Ausbeute, die etwa das 6,0-fache der Baseline-sequentuellen Erkundung betrug. Im Gegensatz dazu stagnierten naive sequentielle und Reflexionsstrategien vorzeitig und schafften es ohne explizite strukturelle Anleitung nicht, auf parametrisches Langschwanzwissen zuzugreifen.

2. Wissens-Skalierungsgesetz

Es besteht eine klare positive Korrelation zwischen Modellgröße und extrahierbarem Wissen. Unter Verwendung der optimalen Taxonomie-Strategie stieg die Recall-Rate von 27,3 % (8B-Modell) auf 36,9 % (70B) und 39,0 % (405B). Allerdings wurden bei größeren Skalen abnehmende Grenzerträge beobachtet (der Gewinn von 70B auf 405B war geringer als von 8B auf 70B). Die Genauigkeit verbesserte sich zwar mit der Größe, doch das größte Modell zeigte eine leichte Regression in der Präzision, was auf einen potenziellen Zielkonflikt zwischen Volumen und Genauigkeit bei extremen Skalen hindeutet.

3. Spezialisierung und der Pass@1- vs. Pass@k-Zielkonflikt

Der Vergleich eines allgemeinen Modells (Qwen-2.5-7B) mit einem domänenspezifisch RL-tuned Modell (Coder-Variante) enthüllte einen kritischen Zielkonflikt:

In-Distribution: Das spezialisierte Modell erreichte eine höhere anfängliche Genauigkeit, erlebte jedoch eine rasche Degradierung, sobald die „High-Confidence-Zone" erschöpft war. Das allgemeine Modell überholte es schließlich in der Genauigkeit und behielt eine stabile Leistung bei.
Out-of-Distribution: Das spezialisierte Modell litt unter katastrophalem Vergessen, wobei die Genauigkeit im Vergleich zum allgemeinen Modell signifikant einbrach.
Dies bestätigt, dass domänenspezifisches Fine-Tuning die effektive Wissensgrenze verengt und die anfängliche Präzision auf Kosten von langfristigem Recall und Diversität verbessert.

4. Zusammensetzung der Trainingsdaten

Eine Querschnittsanalyse von ~7B-Modellen verschiedener Organisationen (Meta, Alibaba, DeepSeek) zeigte, dass sich die Recall-Muster zwar stabil blieben (was intrinsische Modelleigenschaften widerspiegelt), die Genauigkeit jedoch je nach Domäne dramatisch variierte.

Llama-3.1 glänzte in ingenieurtechnischen/Code-nahen Domänen.
Qwen-2.5 dominierte theoretische/mathematische Domänen.
DeepSeek-R1 zeigte eine gleichmäßig verschlechterte Genauigkeit, was darauf hindeutet, dass reasoning-orientierte Distillation die Wissensverteilung komprimiert und domänenspezifische Expertise opfert.
Diese Ergebnisse zeigen, dass die Zusammensetzung der Trainingsdaten das Wissensprofil eines Modells grundlegend prägt und die Qualität extrahierbaren Wissens stärker bestimmt als die Architektur allein.

Bedeutung und Behauptungen

Die Arbeit behauptet, eine robuste Methodik zur Prüfung von Modellwissen vor dem Einsatz bereitzustellen und die Lücke zwischen dem, was Modelle können, und dem, was sie tatsächlich wissen, zu schließen. Indem das LLM als zu erkundende Umgebung und nicht als statisches Orakel behandelt wird, bietet das Framework einen Weg:

Zwischen latentem Wissenszugriff und Halluzination zu unterscheiden.
Ausfallmodi beim Einsatz vorherzusagen, indem Wissensgrenzen verstanden werden.
Zu verstehen, wie Pretraining-Entscheidungen und Fine-Tuning-Strategien die Topologie des Maschinenwissens formen.

Die Autoren weisen darauf hin, dass ihre Messungen operational und pipeline-abhängig sind. Obwohl das LLM-Audit-Stadium eine erhebliche Übereinstimmung mit menschlichen Annotatoren zeigte ( $\kappa = 0,79$ ), ersetzt es keine Expertenverifikation in hochriskanten Szenarien. Die Arbeit dient als grundlegender Schritt hin zu einer systematischen, auf Sättigung basierenden Wissensevaluierung und geht über die Grenzen aktueller statischer Benchmarks hinaus.