Researchers waste 80% of LLM annotation costs by classifying one text at a time
Die Studie zeigt, dass Forscher durch das Batching mehrerer Texte und das Stapeln mehrerer Variablen in einem einzigen Prompt die API-Aufrufe und damit die Kosten für LLM-basierte Textklassifizierung um über 80 % senken können, ohne dabei die Genauigkeit signifikant zu beeinträchtigen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Problem: Der „Einzel-Kassierer"
Stell dir vor, du bist ein Forscher und musst 100.000 Tweets analysieren. Du möchtest wissen: Ist der Tweet relevant? Löst er ein Problem? Wie ist die Stimmung? Und worum geht es genau?
Bisher haben die meisten Forscher einen sehr ineffizienten Weg gewählt: Sie schicken einen einzigen Tweet an die künstliche Intelligenz (KI) und fragen nur eine Frage (z. B. „Ist das relevant?"). Dann schicken sie den nächsten Tweet für die nächste Frage.
Der Vergleich: Stell dir vor, du gehst in ein Supermarkt. Du hast 100 Produkte im Warenkorb. Aber statt sie alle auf das Band zu legen, legst du ein einziges Produkt auf das Band, bezahlst, gehst raus, kommst wieder rein, legst das nächste Produkt auf das Band, bezahlst wieder... und das 100.000 Mal.
Das kostet nicht nur eine Ewigkeit, sondern auch ein Vermögen an Gebühren (API-Calls). Die Studie sagt: Forscher verschwenden dabei 80 % ihrer Kosten, weil sie so ineffizient arbeiten.
Die Lösung: Der „Großpacker" und der „Mehrfach-Scanner"
Die Forscher haben zwei Tricks getestet, um das zu ändern:
- Batching (Das Stapeln): Statt einen Tweet nach dem anderen zu schicken, packen wir 25 Tweets in einen einzigen Brief an die KI.
- Stacking (Das Stapeln der Fragen): Statt nur eine Frage zu stellen, fragen wir die KI in einem Rutsch: „Ist Tweet A relevant? Löst er ein Problem? Wie ist die Stimmung? Und was ist das Thema?" – alles auf einmal.
Der Vergleich:
- Der alte Weg: Du bringst 100 Briefe zur Post, aber du füllst jeden Brief nur mit einer einzigen Zeile. Der Postbote muss 100-mal den Briefkasten öffnen.
- Der neue Weg: Du packst 100 Briefe in einen einzigen großen Umschlag (Batching) und schreibst auf den Umschlag alle Adressen und Fragen auf einmal (Stacking). Der Postbote muss nur einmal zum Briefkasten laufen.
Was hat die Studie herausgefunden?
Die Forscher haben 8 verschiedene KIs getestet und 3.962 Tweets auf Herz und Nieren geprüft. Das Ergebnis ist fast zu schön, um wahr zu sein:
- Die KI wird nicht dumm, wenn man sie viel fragt: Solange man nicht zu viele Tweets auf einmal schickt (bis zu 100 Stück pro Brief), bleibt die Genauigkeit fast gleich wie beim Einzel-Test.
- Die Fragen stören sich nicht: Man kann bis zu 10 verschiedene Fragen gleichzeitig stellen, ohne dass die KI verwirrt wird. Die Qualität leidet nicht, weil der Brief länger wird, sondern nur, wenn die Fragen selbst extrem kompliziert sind.
- Die Ersparnis ist riesig: Durch diese Methode sparen Forscher über 80 % der Kosten.
- Ein Beispiel: Eine Analyse, die früher 337 Dollar gekostet hätte, kostet jetzt weniger als 50 Dollar (oder sogar unter 10 Dollar mit günstigen Modellen).
Gibt es Grenzen?
Ja, aber sie sind weit.
- Zu viel auf einmal: Wenn man 500 oder 1.000 Tweets in einen einzigen Brief packt, beginnen einige KIs zu stolpern (wie ein LKW, der zu voll beladen ist). Aber für den normalen Gebrauch (25 bis 100 Tweets) ist alles sicher.
- Der Fehler ist kleiner als menschliche Unschärfe: Selbst wenn die KI bei dieser Methode minimal schlechter wird (z. B. um 2 %), ist dieser Fehler kleiner als die Uneinigkeit, die zwei menschliche Experten haben, wenn sie dieselben Texte bewerten. Das heißt: Die KI ist in diesem „Sicherheitsbereich" so gut wie Menschen, aber viel billiger.
Das Fazit für den Alltag
Die Botschaft ist einfach: Hört auf, die KI wie einen einzelnen Kassierer zu behandeln, und fangt an, sie wie einen effizienten Logistik-Betrieb zu nutzen.
Wenn Forscher jetzt ihre Projekte planen, müssen sie nicht mehr Angst haben, dass sie zu viel Geld ausgeben. Sie können einfach „stapeln" (viele Texte und viele Fragen auf einmal schicken) und dabei die Kosten drastisch senken, ohne die Qualität zu opfern. Es ist wie der Unterschied zwischen einem einzelnen Fahrradboten und einem voll beladenen Lieferwagen: Der Lieferwagen bringt mehr Ware an, kostet weniger pro Paket und kommt trotzdem pünktlich an.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.