MCP-Atlas: A Large-Scale Benchmark for Tool-Use Competency with Real MCP Servers
Das Papier stellt MCP-Atlas vor, einen groß angelegten Benchmark, der 1.000 Aufgaben über 36 reale MCP-Server und 220 Werkzeuge umfasst und darauf ausgelegt ist, die Kompetenz großer Sprachmodelle im Umgang mit Werkzeugen in realistischen, mehrstufigen Workflows mithilfe einer bewertungsbasierten Bewertungsrubrik rigoros zu evaluieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr intelligenten, gut informierten persönlichen Assistenten (eine KI) für ein komplexes Projekt engagiert. Sie geben ihm keine Liste spezifischer Werkzeuge vor; stattdessen sagen Sie einfach: „Ich muss dieses Thema recherchieren, unsere interne Datenbank prüfen und ein bestimmtes Datum finden."
Das Problem ist, dass Ihr Assistent im Keller eine riesige Werkzeugkiste mit 220 verschiedenen Werkzeugen hat, Sie ihm aber nur eine kleine Auswahl von 10 bis 25 Werkzeugen gleichzeitig sehen lassen. Einige dieser Werkzeuge sind genau das, was sie benötigen, während andere „Ablenkungen" sind – Werkzeuge, die ähnlich aussehen, aber für die Aufgabe nutzlos sind.
MCP-Atlas ist ein riesiger, realer Test, der entwickelt wurde, um zu prüfen, wie gut diese KI-Assistenten darin sind, die richtigen Werkzeuge zu finden, sie korrekt zu verwenden und die Teile zusammenzufügen, um ein Problem zu lösen – alles, ohne dass Sie ihnen genau sagen, welche Werkzeuge sie auswählen sollen.
Hier ist eine Aufschlüsselung des Papiers unter Verwendung einfacher Analogien:
1. Das Problem: Die „gefälschten" Tests
Früher waren Tests für den KI-Werkzeugeinsatz wie ein Kochkurs, bei dem der Lehrer dem Schüler eine Rezeptkarte mit der Anweisung „Verwenden Sie das rote Messer, um die Zwiebel zu schneiden" aushändigte.
- Das Problem: Dies testet nicht, ob der Schüler tatsächlich weiß, welches Messer er greifen soll, oder ob er mit einer chaotischen Küche umgehen kann. Das echte Leben ist chaotischer. Sie sagen einfach: „Machen Sie einen Salat", und der Schüler muss das Messer, das Schneidebrett und die Schüssel selbst finden.
- Der alte Weg: Viele Tests verwendeten gefälschte Werkzeuge oder einfache Aufgaben, die die Komplexität der realen Arbeitswelt nicht widerspiegelten.
2. Die Lösung: MCP-Atlas (Der „echte Küchen"-Test)
Die Forscher bauten MCP-Atlas, eine riesige Testküche mit:
- 36 echten Servern: Diese sind wie 36 verschiedene reale Geschäfte (eine Bank, eine Bibliothek, eine Wetterstation, ein Code-Repository). Es sind keine gefälschten Simulationen; es sind die echten Dinge.
- 220 Werkzeuge: Die tatsächlichen Werkzeuge, die in diesen Geschäften verfügbar sind.
- 1.000 Aufgaben: 1.000 verschiedene Herausforderungen, wie zum Beispiel: „Finden Sie ein Papier über Werbung, prüfen Sie dann unsere internen Verkaufsdaten für eine bestimmte Kampagne und nennen Sie mir das Startdatum."
- Der Twist: Der KI werden niemals die Namen der Werkzeuge genannt. Sie muss herausfinden: „Ah, ich muss die Bibliothek nach dem Papier und die Bank nach den Verkaufsdaten fragen."
3. Wie sie die KI benoten: Die „Faktencheck"-Bewertungsmatrix
Anstatt einen Menschen zu bitten zu raten, ob die Antwort der KI „gut klingt", verwenden die Forscher eine Claim-basierte Bewertungsmatrix.
- Die Analogie: Stellen Sie sich vor, die Aufgabe besteht darin, ein Sandwich zu bauen. Das „korrekte" Sandwich muss Folgendes enthalten: 1) Brot, 2) Schinken, 3) Käse und 4) Senf.
- Die Benotung: Wenn die KI Ihnen ein Sandwich mit Brot, Schinken und Käse bringt, aber den Senf vergisst, erhält sie keine Null. Sie erhält Teilpunkte (vielleicht 75 %).
- Warum das wichtig ist: Dies verhindert, dass die KI Punkte nur für das Schreiben eines langen, ausgefallenen Absatzes erhält. Sie erhält Punkte nur für die tatsächlichen Fakten, die sie mit Hilfe der Werkzeuge gefunden hat.
4. Die Ergebnisse: Die KI wird besser, stolpert aber noch immer
Sie testeten die intelligentesten verfügbaren KI-Modelle (die „Frontier"-Modelle).
- Die Punktzahl: Die beste KI (Claude Opus 4.5) erreichte bei etwa 62 % der Aufgaben eine „perfekte" (oder ausreichend gute) Bewertung. Die nächsten Besten lagen im Bereich von 50 %, und einige ältere Modelle erzielten sehr niedrige Werte (unter 10 %).
- Das Hauptversagen: Der Hauptgrund, warum die KI versagte, war nicht, dass sie nicht denken oder lesen konnte. Es war, dass sie das richtige Werkzeug nicht finden konnte oder nicht wusste, ein Werkzeug überhaupt zu verwenden.
- Analogie: Die KI wusste, wie man ein Sandwich macht, aber sie vergaß, den Kühlschrank zu öffnen, um den Schinken zu holen, oder sie griff das falsche Glas mit Gurken, weil sie dachte, es sei Senf.
- Das „zu früh aufhören"-Problem: Viele KIs begannen die Aufgabe, führten einen Schritt aus und sagten dann: „Ich kann den Rest nicht machen", obwohl sie die Werkzeuge hatten, um die Aufgabe zu beenden. Sie gaben zu früh auf.
5. Verschiedene Arten von Aufgaben
Der Test deckte verschiedene „Nachbarschaften" der Arbeit ab:
- Grundlegend (Wetter, Karten): Hier kam die KI gut zurecht.
- Analytik (Daten, Diagramme): Hier kam die KI überraschend gut zurecht.
- Finanzen & Programmierung: Hier hatte die KI die größten Schwierigkeiten. Diese Bereiche erfordern sehr präzise Anweisungen (wie ein bestimmtes Datumsformat oder eine bestimmte Code-Syntax), und die KI vermasselte oft die Details.
6. Was dies für die Zukunft bedeutet
Das Papier kommt zu dem Schluss, dass die KI zwar intelligenter wird, aber immer noch eine riesige Kluft zwischen „wissen, wie man ein Werkzeug benutzt" und „wissen, wann man ein Werkzeug benutzt" besteht.
- Die Kernaussage: Aktuelle KI-Modelle sind hervorragend darin, Anweisungen zu befolgen, sobald sie das richtige Werkzeug in der Hand haben. Aber sie sind immer noch schlecht darin, eine chaotische Werkzeugkiste zu betrachten, die gefälschten Werkzeuge zu ignorieren und das richtige auszuwählen, um ein mehrstufiges Problem zu lösen.
Kurz gesagt: MCP-Atlas ist ein rigoroser, realer Fahrtest für KI. Es zeigt, dass zwar die Autos (KI-Modelle) schneller werden, viele von ihnen aber immer noch Schwierigkeiten haben, den Verkehr (das Finden der richtigen Werkzeuge) zu navigieren, ohne zu craschen oder aufzugeben. Die Forscher veröffentlichten ihre Testfragen und Regeln, damit andere Wissenschaftler in Zukunft bessere „Fahrer" entwickeln können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.