From SQL Generation to Tool Selection: A Domain-Oriented Pattern for MCP Servers
Dieses Paper stellt das Domain-Oriented Tooling Pattern und dessen Open-Source-Implementierung, MCP Blueprint, vor, welches die generische SQL-Generierung durch domänenspezifische Werkzeugauswahl ersetzt, um die Genauigkeit signifikant zu verbessern und die Kosten für kleinere LLMs in Enterprise-Datenzugriffsszenarien zu senken.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Computer menschliche Sprache lesen und verstehen können, was es Menschen ermöglicht, komplexe Fragen zu riesigen Bibliotheken von Daten zu stellen, ohne die geheimen Codes erlernen zu müssen, die zur Speicherung dieser Informationen verwendet werden. Dies ist das Versprechen moderner künstlicher Intelligenz, insbesondere von Systemen, die auf großen Sprachmodellen basieren. Diese Modelle fungieren als intelligente Assistenten, die in der Lage sind, ein Gespräch zu führen und Probleme durch logisches Denken zu lösen. Um sie für Unternehmen wirklich nützlich zu machen, verbinden Entwickler sie mit Datenbanken – digitalen Lagern, die alles von Kundendatensätzen bis hin zu Inventarlisten enthalten. Ein neuer Standard namens Model Context Protocol ist entstanden, um diesen KI-Assistenten zu helfen, externe Werkzeuge zu finden und zu nutzen, ganz ähnlich wie eine Universalfernbedienung, die es einem Gerät ermöglicht, mit verschiedenen Marken von Haushaltsgeräten zu kommunizieren. Die zentrale Herausforderung besteht jedoch darin, wie man die Verbindung zwischen der menschenähnlichen KI und der starren, strukturierten Datenbank gestaltet. Wenn die Verbindung zu locker ist, könnte die KI verwirrt werden oder gefährliche Fehler machen; wenn sie zu starr ist, kann sie die einzigartigen Fragen nicht beantworten, die Menschen tatsächlich stellen.
Forscher untersuchten kürzlich genau dieses Problem, indem sie testeten, wie man diese Verbindungen für Geschäftsdaten am besten aufbaut. Sie verglichen zwei sehr unterschiedliche Ansätze. Die erste, und gängigste Methode besteht darin, der KI ein einziges, leistungsstarkes Werkzeug zu geben, das es ihr ermöglicht, ihre eigenen Computerabfragen von Grund auf neu zu schreiben. Es ist, als würde man einem Gast ein leeres Blatt Papier und einen Stift übergeben und ihn bitten, einen Brief an eine Bank zu schreiben, in der Erwartung, dass er die spezifischen Formulare der Bank, die korrekte Grammatik und die genauen Regeln für die Zinsberechnung kennt. Der zweite Ansatz, den die Forscher das „Domain-Oriented Tooling Pattern“ nennen, besteht darin, der KI eine kleine Anzahl vorgefertigter, spezifischer Knöpfe zu geben, die gedrückt werden können. Anstatt einen Brief zu schreiben, wählt der Gast einfach einen Knopf mit der Aufschrift „Kontostand prüfen“ oder „Letzte Transaktionen anzeigen“. Die komplexen Regeln und Berechnungen sind bereits in den Knopf eingebaut und sicher im System verborgen.
Um zu sehen, welche Methode besser funktioniert, baute das Team eine Testumgebung unter Verwendung einer Beispieldatenbank für Filmvermietungen, einer realistischen Umgebung mit Tausenden von Datensätzen über Filme, Kunden und Vermietungen. Sie richteten drei verschiedene Arten ein, wie die KI mit diesen Daten interagieren konnte. Das erste Setup ermöglichte es der KI, ihre eigenen Abfragen von Grund auf neu zu schreiben, wobei sie sich auf ihr eigenes Wissen über die Datenbankstruktur verließ. Das zweite Setup gab der KI eine Reihe spezialisierter Werkzeuge an die Hand, die jeweils für eine bestimmte Geschäftsaufgabe konzipiert waren, wie etwa die Prüfung, ob ein Kunde überfällige Filme hat oder das Auffinden eines Films, der derzeit vorrätig ist. Das dritte Setup bot einen Mittelweg: eine Reihe von Werkzeugen, die zu einfach waren und die KI dazu zwangen, immer noch den Großteil der schweren Arbeit zu leisten, um Informationen zu kombinieren. Sie testeten diese Setups dann mit vier verschiedenen KI-Modellen, die von sehr kleinen und schnellen bis hin zu größeren, leistungsfähigeren Modellen reichten, indem sie ihnen siebzehn verschiedene reale Geschäftsfragen stellten.
Die Ergebnisse waren eindeutig und überraschend. Der Ansatz, der der KI spezialisierte, vorgebaute Werkzeuge gab, schnitt signifikant besser ab als derjenige, der die KI dazu brachte, ihre eigenen Abfragen zu schreiben. Bei der Verwendung der spezialisierten Werkzeuge antwortete die KI in fast neunundneunzig Prozent der Fälle korrekt. Im Gegensatz dazu sank die Erfolgsquote auf etwa siebenundsechzig Prozent, wenn sie gezwungen war, ihre eigenen Abfragen zu schreiben. Noch erstaunlicher war die Leistung der einfachsten KI-Modelle. Das kleinste getestte Modell, das Schwierigkeiten hatte, Fragen korrekt zu beantworten, wenn es eigene Abfragen schrieb, erreichte eine Erfolgsquote von über zweiundneunzig Prozent, wenn es die spezialisierten Werkzeuge verwendete. Dieser Befund deutet darauf hin, dass Entwickler durch die Vereinfachung der Aufgabe, die die KI bewältigen muss – indem sie eine komplexe Schreibaufgabe in eine einfache Auswahlaufgabe verwandeln –, viel kleinere, günstigere und schnellere Computer verwenden können, um zuverlässige Ergebnisse zu erzielen. Es ist, als ob ein kleiner, effizienter Motor ein Auto genauso gut antreiben kann wie ein massiver, vorausgesetzt, das Auto ist mit einem Lenkrad gebaut, das leicht zu drehen ist, anstatt mit einem, das den Fahrer erfordert, die Straße vor ihm selbst zu bauen.
Die Studie zeigte auch, dass es nicht ausreicht, der KI einfach nur Werkzeuge zu geben; das Design dieser Werkzeuge spielt eine immense Rolle. Ein Set von Werkzeugen, das schlecht entworft war und nur einen grundlegenden Zugriff auf Datentabellen ohne klare Anweisungen bot, schnitt tatsächlich schlechter ab, als wenn man die KI ihre eigenen Abfragen schreiben ließe. Dies geschah, weil die schlecht designten Werkzeuge der KI die Freiheit nahmen, ihre eigenen Fehler zu korrigieren, ohne ihr gleichzeitig die richtigen Informationen zu geben, um erfolgreich zu sein. Die erfolgreichen Werkzeuge wurden sorgfältig gestaltet, um die komplexen Geschäftsregeln im System zu verbergen. Zum Beispiel beinhaltet die Bestimmung, ob eine Vermietung „überfällig“ ist, das Überprüfen von Daten und das Berechnen von Zeitdifferenzen – eine Regel, die die KI oft falsch interpretierte, wenn sie ihren eigenen Code schrieb. Mit den spezialisierten Werkzeugen war diese Regel bereits von Menschen geschrieben und getestet worden, sodass die KI nur noch das Ergebnis melden musste. Dieser Wandel bedeutet, dass sich die erforderliche Intelligenz zum Betrieb des Systems von dem KI-Modell selbst hin zu den menschlichen Ingenieuren verlagert, die die Werkzeuge entwerfen.
Die Forscher maßen nicht nur die Genauigkeit, sondern auch die Kosten und die Geschwindigkeit des Prozesses. Da die spezialisierten Werkzeuge erforderten, dass die KI weniger „denkt“, verbrauchte das System weit weniger Computerressourcen, um die richtige Antwort zu erhalten. In einigen Fällen sank die Kosten für eine korrekte Antwort um mehr als das Zehnfache, wenn die spezialisierten Werkzeuge im Vergleich zur Rohabfragemethode verwendet wurden. Das System war auch schneller und benötigte nur wenige Sekunden für eine Antwort anstatt fast einer Minute. Diese Effizienz bedeutet, dass Unternehmen diese intelligenten Assistenten potenziell auf ihren eigenen lokalen Computern betreiben könnten, anstatt für teure Cloud-Dienste zu bezahlen, was die Technologie zugänglicher und sicherer macht. Die Studie kommt zu dem Schluss, dass für routinemäßige Geschäftsfragen der beste Weg nicht darin besteht, die KI intelligenter zu machen, sondern die Schnittstelle, die sie nutzt, einfacher und strukturierter zu gestalten. Indem wir den Datenzugriff um klare, menschenfreundliche Aufgaben statt um rohe Datenbankbefehle organisieren, können wir Systeme bauen, die genauer, schneller und in der Lage sind, auf kleinerer, erschwinglicherer Hardware zu laufen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.