Technische Zusammenfassung: Wie viele Tools sollte ein LLM-Agent sehen? Eine chancenkorrigierte Antwort

1. Problemstellung

Large Language Model (LLM)-Agenten benötigen ein Retrieval-System, um aus einem Registry eine Shortlist von Kandidaten-Tools auszuwählen, bevor das Modell versucht, eine Aufgabe auszuführen. Eine kritische Designentscheidung besteht darin, die Suchtiefe $K$ (die Anzahl der präsentierten Tools) zu bestimmen. Aktuelle Systeme verwenden typischerweise ein festes $K$ (z. B. die Darstellung der Top-5- oder Top-10-Tools), unabhängig von der Schwierigkeit der Anfrage. Dieser Ansatz steht vor zwei sich widersprechenden Herausforderungen:

• Zu wenige Tools: Das richtige Tool kann von der Shortlist ausgeschlossen werden, was zu einem sofortigen Versagen führt.
• Zu viele Tools: Das Modell hat Schwierigkeiten, das richtige Tool unter übermäßigen Ablenkungen zu identifizieren, und die Token-Kosten steigen erheblich (ca. 20.000 Token für 100 Tools).

Es gibt keine Standardmetrik, um zu bewerten, ob eine gewählte Tiefe $K$ für eine bestimmte Anfrage oder ein bestimmtes Registry angemessen ist. Bestehende Retrieval-Metriken (wie $nDCG@K$) sind für die Dokumentenretrieval konzipiert und berücksichtigen nicht die spezifischen Einschränkungen der Tool-Auswahl, bei der der Pool klein ist (50–500 Tools) und der Zufall eine signifikante Rolle für den Erfolg spielt.

2. Methodik

2.1 Die Bits-over-Random (BoR)-Metrik

Die Arbeit führt die Bits-over-Random (BoR)-Metrik als chancenkorrigiertes Evaluierungswerkzeug für die Suchtiefe ein. BoR misst die Erfolgsrate des Systems im Verhältnis zur Erfolgswahrscheinlichkeit durch zufällige Auswahl bei derselben Tiefe.

• Formel: $BoR = \log_2(P_{obs} / P_{rand})$
  • $P_{obs}$: Die beobachtete Erfolgsrate (Anteil der Anfragen, bei denen das richtige Tool in den Top-$K$ enthalten ist).
  • $P_{rand}$: Die Wahrscheinlichkeit, durch Zufall mindestens ein relevantes Element zu finden, berechnet mittels der hypergeometrischen Verteilung. Für Single-Tool-Anfragen ($R_q=1$) gilt $P_{rand} = K/N$, wobei $N$ die Größe des Registries ist.
• Interpretation:
  • $BoR = 0$: Die Leistung entspricht dem Zufall.
  • $BoR > 0$: Die Leistung übertrifft den Zufall.
  • Selbst-Pruning-Eigenschaft: Mit zunehmendem $K$ steigt $P_{rand}$. Folglich nimmt das Belohnungssignal (BoR) natürlich ab, sobald die Shortlist wächst, selbst wenn $P_{obs}$ konstant bleibt. Dies erzeugt eine intrinsische Strafe für unnötige Tiefe, ohne dass konstruierte Tiefenstrafen erforderlich sind.

2.2 Formulierung als Reinforcement Learning (RL)

Die Autoren fassen die Auswahl von $K$ als Markov-Entscheidungsprozess (MDP) zusammen, um die Nützlichkeit der BoR-Metrik zu testen:

• Zustand: Der Agent beobachtet die Ähnlichkeitswerte der bisher untersuchten Tools, die aktuelle Tiefe $k_t$, die Registry-Größe $N$ und die BoR-Obergrenze.
• Aktion: Binäre Entscheidung: STOPPEN (die aktuelle Shortlist dem LLM präsentieren) oder WEITERMACHEN (den nächsten Kandidaten untersuchen).
• Belohnung:
  • Wenn der Agent stoppt und das richtige Tool vorhanden ist: Belohnung = $-\log_2(P_{rand})$.
  • Wenn das richtige Tool nicht vorhanden ist: Belohnung = 0.
  • Eine kleine Schrittkosten belohnt unnötige Exploration ab, kodiert jedoch keine spezifische Tiefenpräferenz.
• Agenten: Die Studie verwendet absichtlich einfache Agenten (DQNs und tabulares Q-Learning), um die Eigenschaften der Metrik zu untersuchen, anstatt eine Produktionsarchitektur vorzuschlagen.

2.3 Baselines

Der BoR-Ansatz wird mit folgenden Ansätzen verglichen:

1. Fixed-$K$: Darstellung der Top-$K$-Tools für alle Anfragen.
2. F1-Ablation: Ein RL-Agent, der mit einer auf F1 basierenden Belohnung trainiert wurde ($F1 = 2/(K+1)$, wenn Recall=1), um zu testen, ob Tiefenbewusstsein allein, ohne Chancenkorrektur, adaptives Verhalten induziert.

3. Wichtige Ergebnisse

Die Evaluation umfasst drei Benchmarks (BFCL, MetaTool, ToolBench), mehrere Scorer (BM25, MiniLM, BGE) und Registry-Größen von 20 bis 3.251 Tools.

3.1 Adaptive Tiefe vs. Feste Tiefe

• BFCL (370 Tools): Der BoR-Agent erreichte eine **90,3 %**ige Abdeckung bei einer durchschnittlichen Tiefe von $K=7,4$ und deckte damit fast die Abdeckung einer festen Tiefe von $K=50$ (90,8 %) ab, während er 7-mal weniger Tools präsentierte.
• ToolBench (3.251 Tools): Eine feste Tiefe von $K=5$ erzielte eine höhere aggregierte Abdeckung (64,7 %) als der BoR-Agent (61,9 %). Der feste Baseline versagte jedoch vollständig bei „schwierigen" Anfragen (bei denen das richtige Tool auf Rang 6–20 stand). Der BoR-Agent passte seine Tiefe bei diesen schwierigen Anfragen an $K=5,7$ an und rettete 16,7 % der Fälle, die von Fixed-$K$ vollständig verpasst wurden.
• MetaTool: Der BoR-Agent zeigte Sensibilität gegenüber der Registry-Größe und der Scorer-Qualität. Bei einem schwachen BM25-Scorer erweiterte er die Tiefe erheblich ($K=80,7$), um die schlechte Rangfolge auszugleichen, während die F1-Baseline unabhängig von der Scorer-Qualität flach blieb.

3.2 Scorer-Qualität und Adaptation

Das BoR-Belohnungssignal passt sich der Qualität des zugrunde liegenden Scorers an:

• Bei starken Embedding-Scorern (MiniLM) stoppte der Agent früh ($K \approx 1,4$), da das richtige Tool ganz oben erschien.
• Bei schwachen Scorern (BM25 auf MetaTool) erweiterte der Agent die Suche ($K \approx 80,7$), um die Selektivität aufrechtzuerhalten, während die F1-Baseline versagte, sich anzupassen, früh stoppte und das richtige Tool verpasste.

3.3 Downstream-Validierung der Tool-Auswahl

Unter Verwendung von Claude Sonnet 4.6 auf BFCL validierten die Autoren, ob kürzere, adaptive Listen die Fähigkeit des LLM verbessern, das richtige Tool aus der präsentierten Menge auszuwählen:

• Auswahlgenauigkeit: Wenn das richtige Tool vorhanden war, wählte Claude es 93,1 % der Zeit mit den kurzen Listen des BoR-Agenten ($K=2,2$) aus, verglichen mit 87,1 % bei einem festen $K=5$.
• Mittlere Schwierigkeit: Bei Anfragen, bei denen das richtige Tool auf Rang 2–5 stand, verbesserte der BoR-Agent die Auswahlgenauigkeit auf 76,8 % gegenüber 60,9 % für festes $K=5$.
• Fazit: Die Reduzierung der Anzahl der Ablenkungen (Ablenkungslast) verbessert die Entscheidungsfindungsgenauigkeit des LLM, selbst wenn die aggregierte „Fund"-Rate etwas niedriger ist als bei einer hohen festen-$K$-Baseline.

4. Bedeutung und Behauptungen

Die Arbeit behauptet folgende Beiträge und Bedeutungen:

1. Erste chancenkorrigierte Metrik für die Tiefe: Sie führt BoR als erste Metrik ein, die speziell entwickelt wurde, um die Suchtiefe bei der Tool-Auswahl zu bewerten, indem sie die Wahrscheinlichkeit eines zufälligen Erfolgs korrigiert, ein Faktor, der in Standard-Retrieval-Metriken oft ignoriert wird.
2. Selbst-Pruning-Belohnung: Sie zeigt, dass BoR natürlich ein Belohnungssignal liefert, das mit der Tiefe abnimmt, wodurch ein RL-Agent optimale Stoppstellen lernen kann, ohne konstruierte Tiefenstrafen.
3. Adaptive Effizienz: Die Studie zeigt, dass adaptive Strategien eine Abdeckung erreichen können, die mit großen festen Shortlists vergleichbar ist, während sie gleichzeitig den Token-Verbrauch und die Verwirrung des Modells erheblich reduzieren.
4. Diagnostische Nützlichkeit: Die Metrik kann defekte oder schwache Scorer identifizieren (z. B. wenn ein Agent gezwungen ist, das gesamte Registry zu durchsuchen, um ein Tool zu finden, was darauf hindeutet, dass der Scorer unwirksam ist).
5. Downstream-Auswirkung: Sie liefert Belege dafür, dass adaptive Tiefe nicht nur Tools effizienter findet, sondern auch die downstream-Fähigkeit des LLM verbessert, das richtige Tool auszuwählen, indem sie die kognitive Last reduziert.

Anerkannte Einschränkungen:
Die Autoren stellen fest, dass BoR die Selektivität optimiert und nicht den maximalen Recall; daher können Fixed-$K$-Baselines manchmal eine höhere aggregierte Abdeckung erreichen, wenn eine einheitliche Tiefe zufällig für die meisten Anfragen ausreicht. Die verwendeten RL-Agenten sind einfache Sonden, keine Produktionssysteme, und die Evaluation konzentriert sich darauf, ob das Tool präsentiert wird, nicht auf die Korrektheit der Ausführungsargumente des Tools.