Scalable Inference Architectures for Compound AI Systems: A Production Deployment Study
Dieser Beitrag stellt eine Produktionsstudie einer modularen, plattformunabhängigen Inferenzarchitektur bei Salesforce vor, die eine skalierbare, kosteneffiziente und latenzarme Bereitstellung von komplexen KI-Systemen wie Agentforce und ApexGuru ermöglicht und dabei signifikante Verbesserungen beim Durchsatz, bei der Tail-Latenz und bei den Betriebskosten erzielt, während gleichzeitig einzigartige Herausforderungen wie Multi-Model-Fan-out und kaskadierende Cold Starts bewältigt werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreiben ein belebtes, gehobenes Restaurant namens Agentforce. In der Vergangenheit verfügte dieses Restaurant über eine einzige, riesige Küche (ein „statisches" Setup), in der ein Küchenchef versuchte, alles zu erledigen: Gemüse schneiden, Steaks grillen, Desserts backen und Geschirr spülen. Wenn das Restaurant voll wurde, geriet die Küche ins Stocken. Wenn der Chef eine Pause zur Erholung brauchte (ein „Cold Start"), stellte das gesamte Restaurant die Essensausgabe ein. Und das Schlimmste war: Sie mussten das Gehalt des Chefs rund um die Uhr zahlen, selbst wenn niemand aß.
Dieser Artikel beschreibt, wie Salesforce ihr „Restaurant" neu aufbaut hat, um Compound AI Systems (zusammengesetzte KI-Systeme) zu bewältigen. Anstelle einer großen Küche bauten sie ein modulares, bedarfsgesteuertes Liefernetzwerk für Speisen.
So haben sie es getan, einfach erklärt:
1. Das Problem: Die „Einheitsgröße"-Küche
Moderne KI-Anwendungen (wie Agentforce oder ApexGuru) sind komplex. Wenn ein Kunde eine Frage stellt, fragt das System nicht einfach einen Roboter um eine Antwort. Es ist eher wie ein Team von Spezialisten, die zusammenarbeiten:
- Spezialist A (Embedding-Modell) sucht die Historie des Kunden nach.
- Spezialist B (LLM) schreibt die Antwort.
- Spezialist C (SQL-Executor) überprüft die Datenbank.
- Spezialist D (Klassifizierer) entscheidet, was der Kunde tatsächlich möchte.
Im alten „statischen" Setup steckten all diese Spezialisten im selben Raum auf derselben Hardware fest.
- Der Flaschenhals: Wenn der Datenbank-Spezialist langsam war, verzögerte sich die gesamte Bestellung.
- Die Verschwendung: Sie mussten alle Spezialisten rund um die Uhr wach und bereit halten, selbst wenn nur der „schneidende" Spezialist um 3 Uhr morgens benötigt wurde.
- Der „Cold Start"-Albtraum: Wenn das Restaurant für eine Stunde geschlossen und wieder geöffnet wurde, musste jeder Spezialist aufwachen, sich strecken und seine Werkzeuge bereit machen. Der Kunde musste warten, bis der Langsamste aufgewacht war, bevor er etwas zu essen bekam.
2. Die Lösung: Ein „intelligentes Liefernetzwerk"
Salesforce baute eine neue Architektur auf, die wie ein intelligenter, dynamischer Lieferservice funktioniert.
- Der Bestellaufnehmer (Vorhersagedienst): Wenn ein Kunde bestellt, sendet ein intelligenter Disponent die Bestellung nicht an eine große Küche. Stattdessen zerlegt er die Bestellung in Teile und schickt sie an die spezifischen Spezialisten, die für den Job am besten geeignet sind.
- Unabhängiges Skalieren: Wenn 100 Personen „Steak" bestellen (LLM-Aufrufe), stellt das System sofort 10 Steakköche ein. Wenn nur 5 Personen „Salat" bestellen (Embedding-Aufrufe), werden nur 5 Salatköche eingestellt. Sie kämpfen nicht um Platz in derselben Küche.
- Serverless (Pay-As-You-Go): Die Spezialisten sitzen nicht in einem Gebäude und warten auf Bestellungen. Sie sind „Cloud-Arbeiter", die nur erscheinen, wenn eine Bestellung eintrifft, und gehen, wenn sie fertig sind. Sie zahlen nur für die Minuten, in denen sie tatsächlich arbeiten.
3. Das „Aufwachen"-Problem lösen (Kaskadierende Cold Starts)
Der Artikel entdeckte ein kniffliges Problem: In einem zusammengesetzten System sind die Spezialisten voneinander abhängig. Spezialist A muss fertig sein, bevor Spezialist B beginnen kann.
- Der alte Weg: Wenn das Restaurant wiedereröffnet, wacht Spezialist A auf (30 Sekunden), dann Spezialist B (150 Sekunden), dann Spezialist C (20 Sekunden). Der Kunde wartet insgesamt 180 Sekunden.
- Der neue „Vorwärm"-Trick: Das System ist intelligent genug, das Rezept zu kennen. Sobald Spezialist A aufgerufen wird, weckt das System gleichzeitig die Spezialisten B und C im Hintergrund auf.
- Das Ergebnis: Anstatt 180 Sekunden zu warten, wartet der Kunde nur etwa 65 Sekunden. Der Artikel besagt, dass dies die „Aufwach"-Zeit um 65 % verkürzt hat.
4. Die Ergebnisse: Schneller, billiger und reibungsloser
Nachdem dieses neue System über ein Jahr lang mit echten Kunden betrieben wurde, ist Folgendes passiert:
- Geschwindigkeit: Die „Tail Latency" (die Worst-Case-Wartezeit für langsame Kunden) sank um 50 %. Bestellungen, die früher 37 Sekunden dauerten, dauern jetzt etwa 10–11 Sekunden.
- Kapazität: Das System kann 3,9-mal mehr Bestellungen gleichzeitig bewältigen als die alte Küche.
- Kosten: Da sie aufhörten, für inaktive Arbeiter zu zahlen, sparten sie 30–40 % an Kosten.
- Zuverlässigkeit: Wenn ein Spezialist krank wird (ausfällt), schaltet das System nicht das gesamte Restaurant ab. Es leitet die Bestellung einfach um diese Person herum (z. B. „Wir können die Datenbank nicht überprüfen, also geben wir einfach eine allgemeine Antwort"). Das Restaurant bleibt 95 % der Zeit geöffnet, selbst wenn Teile ausfallen.
5. Wichtige Erkenntnisse (Die „Geheimnisse des Küchenchefs")
Die Autoren teilten einige wichtige Erkenntnisse für alle, die diese Systeme bauen:
- Cold Starts multiplizieren sich, sie addieren sich nicht einfach. Wenn Sie eine Kette von Aufgaben haben, stapeln sich die Wartezeiten. Sie müssen die gesamte Kette auf einmal aufwecken, nicht nacheinander.
- Beobachten Sie die gesamte Pipeline, nicht nur einzelne Arbeiter. Ein Arbeiter mag für sich genommen schnell sein, aber wenn er darauf wartet, dass jemand anderes fertig wird, ist die gesamte Bestellung langsam. Sie müssen das „große Bild" der Bestellung sehen.
- Testen Sie Teile einzeln. Da das System modular ist, können Sie nur den „Salatkoch" gegen einen neuen austauschen, ohne den „Steakkoch" zu feuern. Dies ermöglicht es ihnen, ihre KI-Modelle in Tagen statt in Wochen zu verbessern.
- Graceful Degradation ist besser als Perfektion. Wenn ein kleiner Teil des Systems ausfällt, sollte das Ganze nicht abstürzen. Es ist besser, eine etwas weniger detaillierte Antwort zu geben, als gar keine Antwort zu geben.
Zusammenfassung
Dieser Artikel handelt vom Übergang von einem starren, teuren „Ein-Küchen"-KI-Setup zu einem flexiblen, „Gig-Economy"-artigen Netzwerk. Indem Salesforce jedes KI-Tool als separaten, bedarfsgesteuerten Arbeiter behandelt, der sofort hoch- oder runtergefahren werden kann, machten sie ihre KI-Agenten für Tausende von Unternehmensnutzern schneller, billiger und viel zuverlässiger.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.