Local-Splitter: A Measurement Study of Seven Tactics for Reducing Cloud LLM Token Usage on Coding-Agent Workloads
Dit paper presenteert een systematische studie van zeven tactieken om cloud LLM-tokenverbruik te verminderen bij coderingsagenten door een lokaal model als triagelaag te gebruiken, waarbij wordt vastgesteld dat de optimale strategie afhankelijk is van de specifieke werklast en aanzienlijke kosten- en tokenbesparingen kan opleveren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Local-Splitter: De Slimme Portier voor je AI
Stel je voor dat je een enorm groot, superintelligent, maar ook erg duur kantoor hebt (de Cloud AI). Dit kantoor kan alles doen, van complexe code schrijven tot het uitleggen van ingewikkelde concepten. Maar er is een probleem: elke keer dat je een vraag stelt, moet je een flinke rekening betalen. En vaak zijn je vragen eigenlijk heel simpel, zoals "wat betekent dit woord?" of "verander deze ene regel". Het is alsof je een beroemde chef-kok belt om een boterham te maken; het kan, maar het is zonde van je geld.
Aan de andere kant heb je een slimme, maar kleinere assistent in je eigen huis (de Lokale AI). Deze is goedkoop om te gebruiken, maar kan niet alles.
Deze paper introduceert Local-Splitter: een slimme "portier" of "drukkende" die precies weet wanneer hij de vraag zelf moet oplossen en wanneer hij de dure chef-kok moet bellen. Ze hebben zeven verschillende trucs (tactieken) bedacht om dit te doen.
Hier is hoe het werkt, vertaald in alledaagse taal:
De Zeven Trucs van de Portier
De Slimme Portier (Local Routing):
De portier kijkt naar je vraag. Is het een simpele vraag? (Bijv. "Hoe heet dit bestand?") Dan zegt hij: "Ik regel dit zelf!" en belt hij de dure chef niet. Is het een moeilijke vraag? Dan gaat hij naar de chef.- Voordeel: Je betaalt niet voor simpele dingen.
De Samenvatter (Prompt Compression):
Soms stuur je de chef een heel lang verhaal met veel herhalingen. De portier vat dit samen tot een kort, krachtig briefje voordat hij het naar de chef stuurt.- Voordeel: De chef leest minder, dus je betaalt minder.
Het Herinneringsboek (Semantic Caching):
Als iemand eerder een vraag stelde ("Hoe werkt deze knop?"), en nu komt iemand met een bijna identieke vraag, kijkt de portier in zijn boek. "Ah, dit hebben we al eens beantwoord!" Hij geeft het oude antwoord direct terug.- Voordeel: Geen nieuwe belletje naar de chef nodig.
Het Concept & De Correctie (Local Drafting):
De portier schrijft zelf een eerste versie van het antwoord. Hij geeft dit aan de chef en zegt: "Kijk eens, ik heb dit geschreven. Is het goed, of moet je alleen dit ene stukje aanpassen?" De chef hoeft niet meer van nul te beginnen, maar alleen te corrigeren.- Voordeel: Correctie is goedkoper dan volledig schrijven.
De Schaar (Minimal-Diff Edits):
Als je zegt: "Verander regel 5 in dit bestand", stuurt de portier niet het hele bestand naar de chef. Hij knipt alleen dat ene stukje eruit en stuurt dat.- Voordeel: De chef hoeft niet 1000 regels te lezen om 1 regel te zien.
De Vertaler (Structured Intent):
Mensen praten vaak wollig ("Zou je misschien kunnen kijken of..."). De portier haalt de wolligheid weg en vertaalt het naar een strak commando ("Kijk naar X").- Voordeel: De chef krijgt direct de kern, zonder onnodige woorden.
De Groepsbel (Batching):
Als je in 1 seconde drie korte vragen stelt, wacht de portier even (een fractie van een seconde) en stuurt hij ze allemaal in één keer naar de chef.- Voordeel: Je betaalt één keer voor de "reis" in plaats van drie keer.
Wat hebben ze ontdekt?
De onderzoekers hebben deze trucs getest op vier soorten werk:
- Veel aanpassingen doen (zoals code herschrijven).
- Veel uitleg vragen (zoals "hoe werkt dit bestand?").
- Gewone kletspraat.
- Vragen over grote documenten (zoals het zoeken in een heel boek).
De grote ontdekking: Er is geen "één truc die voor iedereen werkt". Het hangt af van wat je doet.
- De Gouden Combinatie: Voor de meeste situaties (vooral het uitleggen en aanpassen van code) werkt de combinatie van Truc 1 (Portier) en Truc 2 (Samenvatter) het beste. Dit bespaart tot 79% aan kosten! Je laat de portier de simpele dingen doen en vat de moeilijke vragen samen voordat ze de dure chef bereiken.
- De Uitzondering: Als je werkt met heel grote documenten (zoals een heel boek), werkt een andere truc beter: Truc 4 (Concept & Correctie). Hier schrijft de portier het grootste deel en laat de chef alleen de details controleren.
Waarom is dit belangrijk?
Vroeger dachten mensen: "Laat gewoon alles door de dure AI doen, dat is het makkelijkst."
Deze paper zegt: "Nee, dat is geldverspilling."
Met Local-Splitter kun je je AI-agenten veel slimmer maken. Je gebruikt een kleine, gratis AI op je eigen computer om te filteren, en alleen als het echt nodig is, schakel je de dure, slimme AI in.
Kortom: Het is alsof je een slimme receptionist hebt die weet wanneer hij zelf de telefoon moet opnemen en wanneer hij de CEO moet bellen. Hierdoor bespaar je enorm veel geld, zonder dat de kwaliteit van het antwoord daalt. Voor bedrijven die AI gebruiken om code te schrijven, is dit een enorme winst.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.