🤖 AI

Indexing the Unreadable: LLM-Native Recursive Construction and Search of Service Taxonomies

Um die Einschränkungen des Kontextfensters und das Phänomen „Lost-in-the-Middle" im aufkommenden Internet der Agenten zu adressieren, schlägt diese Arbeit A2X vor, ein LLM-natives System, das Dienste dynamisch in eine hierarchische Taxonomie organisiert und diese schichtweise navigiert, um die Genauigkeit der Informationswiedergewinnung erheblich zu verbessern und gleichzeitig den Tokenverbrauch im Vergleich zu bestehenden Baselines drastisch zu reduzieren.

Ursprüngliche Autoren: Wei Zheng, Yang Yan, Yiyang Shao, Jinyang Li, Zeze Chang, Yukuang Jia, Qiming Mao, Chihyung Wang, Jingbin Zhou

Veröffentlicht 2026-05-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Wei Zheng, Yang Yan, Yiyang Shao, Jinyang Li, Zeze Chang, Yukuang Jia, Qiming Mao, Chihyung Wang, Jingbin Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Das Dilemma der „zu vielen Optionen"

Stellen Sie sich vor, Sie sind ein sehr intelligenter Assistent (ein KI-Agent), der einem Nutzer helfen soll. Um Ihre Arbeit zu erledigen, haben Sie Zugriff auf eine riesige Bibliothek von Werkzeugen – Tausende verschiedener „Apps" oder „Dienste" wie Flugbuchungen, Kontostandabfragen oder Sprachübersetzungen.

Das Problem ist, dass Ihr Gehirn (das „Kontextfenster" der KI) nur eine begrenzte Menge an Informationen gleichzeitig speichern kann.

Der alte Weg: Wenn Sie versuchen würden, die Beschreibungen aller 1.000 Werkzeuge auf einmal zu lesen, um das richtige zu finden, wären Sie überfordert. Es ist wie der Versuch, ein ganzes Lexikon an einem Stück zu lesen. Selbst wenn Sie es könnten, neigt Ihr Gehirn dazu, die mittleren Seiten zu ignorieren und sich nur auf den Anfang und das Ende zu konzentrieren. Dies wird als „Lost-in-the-Middle"-Effekt bezeichnet. Sie könnten das perfekte Werkzeug verpassen, weil es in der Mitte der Liste begraben war.
Die Alternative: Manche versuchen, einen „magischen Index" (suchbasierte Einbettung) zu verwenden, der errät, welche Werkzeuge Ihrer Frage ähnlich sind. Doch dies ist wie die Verwendung einer unscharfen Karte; sie verpasst oft die spezifischen, einzigartigen Werkzeuge, die Sie tatsächlich benötigen, weil sie nicht wirklich die Bedeutung der Wörter versteht, sondern nur ihre Form.

Die Lösung: A2X (Der intelligente Bibliothekar)

Die Autoren entwickelten ein System namens A2X (Agent-to-Anything). Anstatt die gesamte Bibliothek auf den Schreibtisch der KI zu kippen, agiert A2X wie ein super-organisierter Bibliothekar, der ein benutzerdefiniertes Ablagesystem erstellt und die KI Schritt für Schritt führt.

So funktioniert es, anhand einer einfachen Analogie:

1. Die Karte erstellen (Die Taxonomie)

Stellen Sie sich einen Stapel mit 2.000 zufälligen Werkzeugen vor. Ein Mensch würde Tage brauchen, um sie zu sortieren. A2X nutzt die KI selbst, um die Sortierung durchzuführen, aber in kleinen, überschaubaren Häppchen.

Rekursives Aufteilen: Anstatt die KI zu bitten, 2.000 Elemente auf einmal zu sortieren (was zu Überforderung führt), bittet A2X sie, 50 Elemente zu sortieren, dann weitere 50 und so weiter.
Das Ergebnis: Es wird ein hierarchischer Baum aufgebaut (wie ein Stammbaum oder ein Menü auf einer Website).
- Ebene 1: Große Kategorien (z. B. „Reisen", „Finanzen", „Gesundheit").
- Ebene 2: Unterkategorien (z. B. unter „Reisen": „Flüge", „Hotels").
- Ebene 3: Spezifische Werkzeuge.
Kein Mensch nötig: Die KI erstellt diese Karte automatisch von Grund auf, ohne dass ein Mensch ein Handbuch schreiben muss.

2. Das Werkzeug finden (Progressive Offenlegung)

Wenn ein Nutzer fragt: „Ich muss einen Flug nach Tokio buchen", schaut sich die KI nicht die gesamte Bibliothek an. Sie folgt der Karte:

Schritt 1: Die KI betrachtet die oberste Ebene. Sie sieht „Reisen", „Finanzen" und „Gesundheit". Sie ignoriert „Finanzen" und „Gesundheit" sofort und konzentriert sich nur auf „Reisen".
Schritt 2: Sie zoomt in „Reisen" hinein. Sie sieht „Flüge", „Hotels" und „Mietwagen". Sie ignoriert die anderen und konzentriert sich nur auf „Flüge".
Schritt 3: Sie betrachtet die spezifischen Flugwerkzeuge. Jetzt muss sie nur noch zwischen einer Handvoll Optionen wählen, nicht zwischen 2.000.

Dies wird als Progressive Offenlegung bezeichnet. Die KI sieht zu jedem Zeitpunkt nur eine kleine, relevante Liste von Optionen. Sie wird nie überfordert und verpasst nie das Werkzeug in der Mitte einer langen Liste.

Warum es besser ist (Die Ergebnisse)

Das Papier testete dieses System gegen die alten Methoden und stellte fest:

Bessere Genauigkeit: A2X fand die richtigen Werkzeuge 20 % häufiger als die besten „magischen Index"-Systeme (Einbettungssuche). Es fand sie auch 6 % häufiger als das bloße Kippen der gesamten Liste in das Gehirn der KI.
Günstiger und schneller: Da die KI nur kleine Listen liest statt der gesamten Bibliothek, benötigt sie 9-mal weniger Computerspeicher (Tokens), um das gleiche (oder bessere) Ergebnis zu erzielen.
Funktioniert in anderen Sprachen: Das System funktionierte genauso gut auf Chinesisch wie auf Englisch, weil die KI die Bedeutung der Wörter versteht und nicht nur die Übersetzung.

Das Fazit

Das Papier argumentiert, dass wir, da wir in ein Zeitalter eintreten, in dem KI-Agenten Tausende von Werkzeugen nutzen müssen, nicht einfach alle Daten auf einmal zuführen können. Stattdessen müssen wir ihnen beibringen, wie man eine strukturierte Karte navigiert. A2X ist ein System, das diese Karte automatisch erstellt und die KI Schritt für Schritt hindurchführt, um sicherzustellen, dass sie das richtige Werkzeug findet, ohne sich zu verirren oder die geistige Kraft zu erschöpfen.

Technische Zusammenfassung: Indizierung des Unlesbaren (A2X)

1. Problemstellung

Die Arbeit adressiert einen kritischen Engpass im aufkommenden „Internet der Agenten" (IoA): die strukturelle Diskrepanz zwischen der sich rasch ausweitenden Population von LLM-aufrufbaren Diensten (MCP-Server, A2A-Endpunkte, Fähigkeiten) und dem begrenzten effektiven Kontextfenster von Large Language Models (LLMs).

Zwei primäre Fehlermodi treten auf, wenn Agenten versuchen, Dienste aus großen Registern zu entdecken:

Token-Aufblähung: Das Konkatenieren Tausender Dienstbeschreibungen in einen einzigen Prompt überschreitet Kontextfenster oder verursacht prohibitiv hohe Token-Kosten. Beispielsweise kann ein Register mit 1.000 Tools etwa 500.000 Token belegen.
Lost-in-the-Middle (LIM): Selbst wenn das Kontextfenster nominell groß genug ist, vernachlässigen LLMs Informationen in der Mitte langer Eingaben systematisch. Jüngste Benchmarks bestätigen, dass die Abrufgenauigkeit nicht linear mit der Kontextlänge skaliert; der effektive Kontext ist die bindende Einschränkung, nicht die reine Fenstergröße.

Bestehende Lösungen unterliegen Zielkonflikten:

Vollständiges Kontext-Dumping: Scheitert aufgrund von Token-Limits und LIM-Degradation.
Embedding-basierter Abruf: Zwar token-effizient, kämpft die dichte Vektorsuche jedoch mit übergreifendem Vokabular, Mehrfach-Einschränkungen und Long-Tail-Abfragen und verpasst oft relevante Dienste aufgrund mangelnden tiefen semantischen Verständnisses.
Manuelle Taxonomien: Hohe Wartungskosten und strukturelle Verzögerungen machen sie für dynamische, schnell wachsende Dienstpopulationen ungeeignet.

Die zentrale Forschungsfrage lautet: Wie sollte ein großes, dynamisches Register organisiert und selektiv einem LLM offengelegt werden, sodass jede Entscheidung über eine kurze, hochrelevante Kandidatenmenge getroffen wird, während das Register als Ganzes weiterhin auffindbar bleibt?

2. Methodik: A2X (Agent-to-Anything)

Die Autoren schlagen A2X vor, ein LLM-natives Dienstentdeckungssystem, das das Problem als Kontextmanagement durch progressive Offenlegung neu fasst. Anstatt das gesamte Register vorzustellen, organisiert A2X Dienste in einer hierarchischen Taxonomie und durchläuft diese schichtweise zum Zeitpunkt der Abfrage.

A. Automatische Taxonomie-Konstruktion (Offline)

A2X konstruiert die Taxonomie autonom aus rohen Dienstnamen und -beschreibungen unter Verwendung eines Breadth-First Search (BFS)-Algorithmus (Algorithmus 1) und vermeidet so die Notwendigkeit menschlich kurierter Ontologien.

Kontextbewusstes Aufteilen: Um einen Kontext-Überlauf während der Konstruktion zu verhindern, werden Knoten, die einen Schwellenwert ( $\theta_{kw} = 500$ Dienste) überschreiten, über eine Schlüsselwort-First-Strategie verarbeitet. Ein KeywordExtractor bündelt Dienste, um eine frequenzgewichtete Schlüsselwortliste zu generieren, die dann an einen LLM-Designer übergeben wird. Dies stellt sicher, dass der Designer niemals Rohbeschreibungen im großen Maßstab sieht.
Einschränkung auf eine Achse: Um ein „Vermischen von Achsen" (z. B. das Vermischen funktionaler Domänen mit technischen Ansätzen) zu verhindern, erzwingt der Design-Prompt, dass Geschwisterkategorien innerhalb eines Knotens eine einzige Klassifikationsachse teilen. Eine Präferenzkette priorisiert benutzerorientierte funktionale Domänen (z. B. „Reisen") gegenüber operativen oder technischen Achsen.
Verfeinerung der Grenzen: Um semantische Mehrdeutigkeiten zwischen Geschwisterkategorien (z. B. „Finanzen" vs. „Geschäft") zu behandeln, setzt das System eine Klassifizierungs-Verfeinerungsschleife ein. Wenn Dienste falsch klassifiziert oder nicht zugewiesen werden, führt das System diese Randfälle zurück an den Designer, um Kategorien-Definitionen und „NICHT hier"-Grenzklauseln zu verfeinern.
Behandlung von Querschnittsbereichen: Um Dienste zu adressieren, die legitimerweise mehrere Top-Level-Domänen umfassen (was ein strikter Baum verpassen würde), führt ein CrossDomainAssigner einen Multi-Parent-Durchlauf durch, der es Diensten erlaubt, unter mehreren relevanten Blättern aufzutauchen.

B. Progressive-Offenlegungs-Suche (Online)

Zum Zeitpunkt der Abfrage navigiert A2X rekursiv durch die Taxonomie (Algorithmus 2) und stellt sicher, dass jeder LLM-Aufruf nur eine kleine Kandidatenmenge verarbeitet.

Parallele rekursive Abwärtsbewegung (CategoryNavigator): Ausgehend von der Wurzel wird dem LLM die Kinder des aktuellen Knotens präsentiert (typischerweise ~8 Optionen) und gebeten, relevante Zweige auszuwählen. Die nicht ausgewählten Teilbäume werden sofort beschneidet.
Dienstausswahl (ServiceSelector): Sobald Blattknoten erreicht sind, sammelt das System Kandidatendienste. Es dedupliziert Dienste und verschmilzt kleine Gruppen (unter Verwendung einer Heuristik des am wenigsten gemeinsamen Vorfahren), um sicherzustellen, dass die Gruppengrößen innerhalb des effektiven Kontextbudgets des LLM bleiben.
Modi: Das System unterstützt verschiedene Suchmodi (get_all, get_important, get_one), indem es den System-Prompt anpasst, um einen Kompromiss zwischen Recall und Präzision zu finden, wobei der zugrundeliegende Navigationsmechanismus gleich bleibt.

Die gesamten Token-Kosten pro Abfrage wachsen sublinear mit der Registergröße $N$ , da die Anzahl der Aufrufe proportional zur Baumtiefe ( $d$ ) und zum Verzweigungsfaktor ( $b$ ) ist und nicht zu $N$ selbst.

3. Hauptbeiträge

Neuformulierung der Dienstentdeckung: Die Autoren fassen die dienstentdeckung auf Agentenseite als Kontextmanagement-Problem neu, wobei sie LLM-native progressive Offenlegung als Lösung vorschlagen, um die Knappheit des effektiven Kontexts von der Registergröße zu entkoppeln.
A2X-System: Eine vollständig autonome Pipeline, die:
- Automatisch eine hierarchische Taxonomie aus rohen Dienstbeschreibungen unter Verwendung rekursiver Aufteilungs- und Verfeinerungsschleifen konstruiert.
- Diese Taxonomie zum Zeitpunkt der Abfrage schichtweise navigiert und sicherstellt, dass jeder LLM-Aufruf nur eine kleine, relevante Kandidatenmenge sieht.
Empirische Dominanz: Auf dem ToolRet-Benchmark (1.839 Dienste, 1.714 Abfragen) erreicht A2X:
- Eine Trefferquote von 92,6 %, was das vollständige Kontext-Dumping um 6,2 absolute Punkte und die state-of-the-art embedding-basierte Baseline um >20 Punkte übertrifft.
- 1/9 der Prompt-Token-Kosten im Vergleich zum vollständigen Kontext-Dumping.
- Starke sprachübergreifende Robustheit, wobei eine ähnliche Leistung auf einer chinesischen Variante (ToolRet_CN) ohne sprachspezifische Ingenieursarbeit aufrechterhalten wird.

4. Experimentelle Ergebnisse

Sucheffizienz (Studie 1): Im Vergleich zu einer reinen LLM-Baseline, die alle 1.839 Dienste in einen einzigen Prompt dumpt (67.619 Token/Abfrage), erreicht A2X eine höhere Trefferquote (92,6 % vs. 86,4 %) und Recall (89,2 % vs. 84,7 %), während es nur 7.069 Token/Abfrage verbraucht.
Konstruktionsqualität (Studie 2): Ablationsstudien zeigen, dass der rekursive BFS-Aufbau mit Schlüsselwort-Kompression, Verfeinerungsschleifen und Einschränkungen auf eine Achse essentiell ist. Ein „One-Shot"-LLM-Aufbau (Lesen aller Beschreibungen auf einmal) erreicht nur eine Trefferquote von ~60 %, während der rekursive Ansatz 92,6 % erreicht.
Embedding-Vergleich (Studie 3): A2X übertrifft dichte Vektorabrufe (MiniLM, BGE-M3 usw.) und Baselines für Abfrage-Umschreibung (MCP-Zero) signifikant. Embedding-Methoden leiden unter unzureichendem Recall (z. B. 61,8 % HR für MiniLM vs. 92,6 % für A2X), insbesondere in komplexen, mehrfachen Einschränkungsszenarien.
Modell-Robustheit: Experimente mit neueren Modellen (DeepSeek V4) bestätigen, dass, obwohl Long-Context-Fähigkeiten vollständige Kontext-Baselines verbessern, A2X einen Kostenvorteil und in vielen Fällen auch einen Genauigkeitsvorteil beibehält, was beweist, dass die Methode nicht an eine spezifische Modellgeneration gebunden ist.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass LLM-native Entdeckung der natürliche Nachfolger der embedding-basierten Abrufmethode ist, sobald die Inferenzkosten sinken.

Paradigmenwechsel: Im Gegensatz zu embedding-basierten Methoden, die semantische Bedeutung in festdimensionierte Vektoren komprimieren, nutzt A2X die native Fähigkeit des LLM, semantische Schlussfolgerungen durchzuführen und komplexe Abfragen zu disambiguieren.
Skalierbarkeit: Durch das Einschalten einer hierarchischen Taxonomie löst A2X das „Lost-in-the-Middle"-Problem, ohne den Recall zu opfern. Es ermöglicht Agenten, auf Register mit Zehntausenden von Diensten zu skalieren, ohne ein lineares Wachstum der Token-Kosten.
Autonomie: Das System erfordert keine menschliche Ontologie-Wartung im Schleifenbetrieb und ist somit für das dynamische, sich schnell entwickelnde „Internet der Agenten" geeignet.
Ausblick: Die Autoren schlagen vor, dass dieser Ansatz als einheitliche Entdeckungsschicht (ein „Agent-DNS") über heterogene Dienste und Plattformen hinweg dienen kann und eine reichhaltigere Handhabung von Einschränkungen (Budgets, Ausschlüsse) ermöglicht, die Vektorsuche nicht leicht unterstützen kann.

Anerkannte Einschränkungen:

Statische Taxonomie: Der aktuelle Aufbau behandelt Dienste als statisch; zukünftige Arbeiten schlagen eine nutzungsorientierte Verfeinerung vor, um die Baumschichttiefe basierend auf der Abfragehäufigkeit zu optimieren.
Sprachabdeckung: Sprachübergreifende Ergebnisse basieren auf maschinell übersetzten Daten; native nicht-englische Register mit inkompatiblen Vokabularen erfordern möglicherweise vollständige Neubauten.
Präzisionsberichterstattung: Aufgrund unvollständiger Ground-Truth-Annotationen in Tool-Abruf-Benchmarks können traditionelle Präzisionsmetriken die Qualität von High-Recall-Methoden wie A2X unterschätzen.