From SQL Generation to Tool Selection: A Domain-Oriented Pattern for MCP Servers
Dit artikel introduceert het Domain-Oriented Tooling Pattern en de open-source implementatie ervan, MCP Blueprint, die generieke SQL-generatie vervangt door domeinspecifieke toolselectie om de nauwkeurigheid aanzienlijk te verbeteren en de kosten voor kleinere LLM's in enterprise data-toegangsscenario's te verlagen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin computers menselijke taal kunnen lezen en begrijpen, waardoor mensen complexe vragen kunnen stellen over enorme bibliotheken aan gegevens zonder dat ze de geheime codes hoeven te leren die worden gebruikt om die informatie op te slaan. Dit is de belofte van moderne kunstmatige intelligentie, specifiek systemen die zijn gebouwd op grote taalmodellen. Deze modellen fungeren als intelligente assistenten, in staat om een gesprek te voeren en problemen door te redeneren. Om ze echt nuttig te maken voor bedrijven, verbinden ontwikkelaars ze met databases—digitale magazijnen die alles bevatten, van klantgegevens tot inventarislijsten. Een nieuwe standaard genaamd het Model Context Protocol is ontstaan om deze AI-assistenten te helpen externe hulpmiddelen te vinden en te gebruiken, vergelijkbaar met een universele afstandsbediening waarmee een apparaat met verschillende merken apparaten kan communicen. De centrale uitdaging is echter hoe men de verbinding tussen de menselijke AI en de rigide, gestructureerde database kan ontwerpen. Als de verbinding te los is, kan de AI in de war raken of gevaarlijke fouten maken; als het te rigide is, kan de AI de unieke vragen die mensen daadwerkelijk stellen niet beantwoorden.
Onderzoekers verkenden onlangs precies dit probleem door te testen wat de beste manier is om deze verbindingen voor bedrijfsgegevens te bouwen. Ze vergeleken twee zeer verschillende benaderingen. De eerste, en meest voorkomende methode, is om de AI één krachtig hulpmiddel te geven waarmee het zijn eigen computerqueries vanaf nul kan schrijven. Het is also리고 een gast een blanco vel papier en een pen geven en hen vragen een brief naar een bank te schrijven, in de verwachting dat zij de specifieke formulieren van de bank kennen, de juiste grammatica en de exacte regels voor het berekenen van rente. De tweede benadering, die de onderzoekers het "Domain-Oriented Tooling Pattern" noemen, is om de AI een kleine set vooraf geschreven, specifieke knoppen te geven om in te drukken. In plaats van een brief te schrijven, selecteert de gast simpelweg een knop met het label "Rekening saldo controleren" of "Recente transacties bekijken". De complexe regels en berekeningen zitten al veilig in de knop gebouwd, verborgen binnen het systeem.
Om te zien welke methode beter werkt, bouwde het team een testomgeving met een voorbeeld van een database voor filmverhuur, een realistische omgeving met duizenden records over films, klanten en verhuur. Ze stelden drie verschillende manieren op voor de AI om met deze gegevens te interageren. De eerste opstelling stond de AI toe om zijn eigen queries vanaf nul te schrijven, uitgaande van zijn eigen kennis van de databasestructuur. De tweede opstelling gaf de AI een set gespecialiseerde hulpmiddelen, elk ontworpen voor een specifieke zakelijke taak, zoals controleren of een klant films heeft die te laat zijn geretourneerd of een film vinden die momenteel op voorraad is. De derde opstelling bood een middenweg: een set hulpmiddelen die te eenvoudig waren, waardoor de AI nog steeds het meeste zware werk moest doen om informatie te combineren. Ze testten deze opstellingen vervolgens met vier verschillende AI-modellen, variërend van zeer kleine en snelle tot grotere, krachtigere modellen, waarbij ze zeventien verschillende zakelijke vragen stelden.
De resultaten waren duidelijk en verrassend. De benadering die de AI gespecialiseerde, vooraf gebouwde hulpmiddelen gaf, presteerde aanzienlijk beter dan de benadering waarbij de AI zijn eigen queries mocht schrijven. Bij het gebruik van de gespecialiseerde hulpmiddelen antwoordde de AI bijna negentig vier procent van de tijd correct. In tegenstelling hiertoe, wanneer de AI werd gedwongen om zijn eigen queries te schrijven, daalde het succespercentage naar ongeveer zestien zeven procent. Nog indrukwekkender was de prestatie van de eenvoudigste AI-modellen. Het kleinste model dat werd getest, dat moeite had om correct te antwoorden wanneer het zijn eigen queries schreef, behaalde een succespercentage van meer dan tweeën negentig procent bij het gebruik van de gespecialiseerde hulpmiddelen. Dit bevinding suggereert dat door de taak die de AI moet uitvoeren te vereenvoudigen—een complexe schrijftaken te veranderen in een eenvoudige selectietaak—ontwikkelaars veel kleinere, goedkopere en snellere computers kunnen gebruiken om betrouwbare resultaten te krijgen. Het is alsof een kleine, efficiënte motor een auto net zo goed kan aandrijven als een enorme motor, mits de auto is gebouwd met een stuur dat gemakkelijk te draaien is, in plaats van een die de bestuurder vereist om de weg voor hen te bouwen.
De studie onthulde ook dat het simpelweg geven van hulpmiddelen aan de AI niet genoeg is; het ontwerp van die hulpmiddelen doet er enorm toe. Een set hulpmiddelen die slecht ontworpen was en slechts basisontsluiting bood tot datatabellen zonder duidelijke instructies, presteerde feitelijk slechter dan het laten schrijven van eigen queries door de AI. Dit gebeurde omdat de slecht ontworpen hulpmiddelen de vrijheid van de AI wegnamen om zijn eigen fouten te herstellen zonder de juiste informatie te geven om te slagen. De succesvolle hulpmiddelen waren zorgvuldig ontworpen om de complexe bedrijfsregels binnen het systeem te verbergen. Bijvoorbeeld, het bepalen of een huur "te laat" is, houdt het controleren van datums en het berekenen van tijdsverschillen in, een regel die de AI vaak fout kreeg wanneer hij zijn eigen code schreef. Met de gespecialiseerde hulpmiddelen was deze regel al door mensen geschreven en getest, zodat de AI alleen het resultaat hoefde te rapporteren. Deze verschuiving betekent dat de intelligentie die nodig is om het systeem te draaien, verschuift van het AI-model zelf naar de menselijke ingenieurs die de hulpmiddelen ontwerpen.
De onderzoekers maten niet alleen de nauwkeurigheid, maar ook de kosten en de snelheid van het proces. Omdat de gespecialiseerde hulpmiddelen vereisten dat de AI minder nadacht, gebruikte het systeem veel minder computerbronnen om het juiste antwoord te krijgen. In sommige gevallen daalden de kosten voor het krijgen van een correct antwoord met meer dan tien keer wanneer de gespecialiseerde hulpmiddelen werden gebruikt vergeleken met de ruwe query-methode. Het systeem was ook sneller en deed er slechts enkele seconden over om te reageren in plaats van bijna een minuut. Deze efficiëntie betekent dat bedrijven deze intelligente assistenten potentieel op hun eigen lokale computers kunnen draaien in plaats van te betalen voor dure clouddiensten, wat de technologie toegankelijker en veiliger maakt. De studie concludeert dat voor routinematige zakelijke vragen de beste weg vooruit niet is om de AI slimmer te maken, maar om de interface die het gebruikt eenvoudiger en gestructureerder te maken. Door de toegang tot gegevens te organiseren rondom duidelijke, mensvriendelijke taken in plaats van ruwe databasecommando's, kunnen we systemen bouwen die nauwkeuriger, sneller en in staat zijn om op kleinere, meer betaalbare hardware te draaien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.