Researchers waste 80% of LLM annotation costs by classifying one text at a time
Het onderzoek toont aan dat het verwerken van meerdere teksten en variabelen in één prompt de kosten van LLM-annotatie met meer dan 80% verlaagt zonder de nauwkeurigheid significant te beïnvloeden, zolang de batchgrootte en het aantal variabelen binnen bepaalde veiligheidsmarges blijven.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorme berg brieven moet sorteren. Elke brief moet op verschillende manieren worden beoordeeld: is hij relevant? Is het een probleem of een oplossing? Wat is de houding van de schrijver? En waar gaat het over?
Vroeger deden mensen dit werk handmatig, maar nu gebruiken onderzoekers slimme computers (zogenoemde "Large Language Models" of LLM's) om dit voor hen te doen. Het probleem? De onderzoekers deden dit op een heel inefficiënte manier. Ze stuurden de computer één brief per keer en vroegen om één beoordeling per keer.
Dit is alsof je een postbode stuurt die elke brief apart naar het postkantoor brengt, terwijl hij er 25 in één keer had kunnen dragen. Het kost enorm veel geld en tijd.
De onderzoekers van dit paper hebben een simpele, maar revolutionaire oplossing gevonden: pakketjes maken.
Hier is de uitleg in gewone taal, met een paar creatieve vergelijkingen:
1. Het probleem: De "Eén-voor-Eén" methode
Stel je voor dat je een supermarkt hebt en je moet 100.000 producten scannen.
- De oude manier: Je loopt elke keer naar de kassa, legt één product neer, laat het scannen, en loopt dan terug voor de volgende. Je doet dit 100.000 keer.
- Het resultaat: Je bent de hele dag bezig en je betaalt een fortuin aan "scankosten" (in dit geval: API-kosten voor de computer).
De onderzoekers ontdekten dat ze 80% van hun geld verspillen aan deze inefficiëntie.
2. De oplossing: "Batching" (De vrachtwagen-methode)
In plaats van één brief per keer te sturen, kun je ze in pakketjes doen.
- De nieuwe manier: Je laadt 25 brieven in één keer op de vrachtwagen (de computer) en stuurt ze naar de kassa.
- Het effect: Je hoeft de instructies (de "recept" voor de computer) maar één keer te geven voor dat hele pakket, in plaats van 25 keer.
- De winst: De kosten dalen met meer dan 80%. Het is alsof je van een dure taxi naar de supermarkt overstapt op een goedkope bus die vol zit.
3. De tweede truc: "Stacking" (De multi-tasking chef)
Stel je voor dat de vrachtwagen niet alleen brieven vervoert, maar ook een kok is die voor je kookt.
- De oude manier: Je vraagt de kok: "Kook een soep." Dan wacht je. Vervolgens vraag je: "Kook nu een salade." Dan wacht je weer.
- De nieuwe manier: Je zegt tegen de kok: "Kook tegelijkertijd een soep, een salade, een hoofdgerecht en een toetje."
- Het effect: De computer leest de instructies één keer en geeft direct alle antwoorden voor alle vragen. Dit noemen ze "variabelen stapelen".
4. De grote vraag: Wordt het minder goed?
De onderzoekers waren bang: "Als we zo veel in één keer doen, wordt de computer dan verward? Zullen de antwoorden slechter worden?"
Ze hebben dit getest met 8 verschillende slimme computers (zoals die van Google, OpenAI en Anthropic) en bijna 4.000 echte tweets. Hier is wat ze ontdekten:
- Tot een bepaald punt is het veilig: Je kunt tot wel 100 items in één pakket doen (de vrachtwagen vol) zonder dat de kwaliteit merkelijk daalt. De foutmarge is zo klein dat het zelfs kleiner is dan de onenigheid die er vaak is tussen twee mensen die hetzelfde werk doen.
- Meerdere taken zijn oké: Je kunt tot 10 verschillende vragen tegelijk stellen aan de computer zonder dat het resultaat verslechtert.
- Het geheim zit in de complexiteit, niet in de lengte: De computer wordt niet verward omdat de instructie te lang is (te veel tekst), maar omdat de taak zelf te ingewikkeld wordt. Als je 25 heel moeilijke vragen tegelijk stelt, kan hij het soms mis. Maar tot 10 vragen is het geen probleem.
5. Wat betekent dit voor de wereld?
Voor een onderzoek dat normaal gesproken $337 zou kosten, kun je het nu doen voor minder dan $50 (of zelfs $10 met een goedkopere computer).
De belangrijkste les:
Het maakt niet uit hoe slim je computer is; het maakt er veel meer toe hoe je hem vraagt. Door slimme "pakketjes" te maken en meerdere vragen tegelijk te stellen, kunnen onderzoekers hun budget verdubbelen of verdrievoudigen zonder dat de kwaliteit van hun werk in gevaar komt.
Kort samengevat:
Stop met het sturen van één postkaart per keer. Vul je envelop tot de rand, stel meerdere vragen tegelijk, en bespaar een hoop geld terwijl je net zo goed blijft werken. De computer is een vrachtwagen, geen postbode!
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.