Stellen Sie sich vor, Sie betreiben einen Limonadenstand, aber anstatt Zitronen und Zucker verkaufen Sie „Gehirnleistung“ an Roboter. In der Welt der Künstlichen Intelligenz bezahlen Unternehmen nicht nach der Stunde oder nach der Anzahl der Mitarbeiter; sie bezahlen pro „Token“. Stellen Sie sich einen Token wie ein einzelnes Sandkorn vor. Manche Aufgaben benötigen eine Handvoll Sand, andere einen ganzen Eimer. Das Problem ist, dass der Sand in verschiedenen Farben und Größen vorkommt. Einige Körner sind billig und leicht zu finden, andere sind selten, teuer und erfordern eine spezielle Handhabung. Lange Zeit haben große Unternehmen und Startups Eimer dieser Sandmengen gekauft, ohne eine klare Möglichkeit zu haben, festzustellen, ob sie ein gutes Geschäft gemacht haben. Sie wissen zwar, wie viel sie ausgegeben haben, aber sie wissen nicht, ob sie Verschwendung betreiben. Es ist, als wüsste man, dass man 50 $ für Limonadenzutaten ausgegeben hat, aber man hätte keine Vorstellung davon, ob man damit 100 oder nur 10 Becher hergestellt hat. Um dies zu beheben, brauchen wir eine Möglichkeit, „Effizienz“ zu messen – nicht nur, wie viel man ausgegeben hat, sondern wie klug man das gekaufte Material genutzt hat. Hier kommt ein neues Werkzeug namens Token Efficiency Index (TEI) ins Spiel. Er ist wie ein Zeugnis dafür, wie gut ein Unternehmen seinen KI-Sand nutzt, und verwandelt komplexe Ausgabengewohnheiten in eine einfache Punktzahl von 0 bis 100.

Das große Audit des KI-Limonadenstandes

Wie bewertet man also ein Unternehmen darin, wie gut es seine KI nutzt? Die Autoren dieser Arbeit, Caden Wong, Vikram Das und Himanshu Dhami, erkannten, dass es nicht ausreicht, nur auf die Gesamtrechnung zu schauen. Ein Unternehmen könnte viel Geld ausgeben, weil es riesig ist, und nicht, weil es verschwenderisch ist. Um dies zu lösen, erfanden sie den Token Efficiency Index (TEI).

Betrachten Sie den TEI als einen „intelligenten Spiegel“ für die KI-Ausgaben. Anstatt nur die Gesamtkosten anzuzeigen, betrachtet er drei spezifische Gewohnheiten, um zu sehen, ob man ein guter Verwalter seiner Ressourcen ist:

1. Die „Wiederverwendungs-Gewohnheit“ (Cache Hit Rate): Stellen Sie sich vor, Sie schreiben eine Geschichte. Wenn Sie jedes Mal, wenn Sie ein Wort verwenden, die Definition nachschlagen müssen, ist das langsam und nervig. Aber wenn Sie die Definition einmal aufschreiben und später einfach darauf verweisen, sparen Sie Zeit. In der KI nennt man das „Caching“. Der TEI prüft, wie oft ein Unternehmen Informationen wiederverwendet, die es bereits angefordert hat, anstatt die KI jedes Mal die Berechnung von Grund auf neu durchführen zu lassen.
2. Die „Ertrags-Gewohnheit“ (Cache Amortization): Hier geht es darum, das Beste aus seinem Geld herauszuholen. Wenn Sie eine Definition aufschreiben (ein „Cache Write“), möchten Sie diese viele Male verwenden (viele „Reads“), bevor Sie sie wieder vergessen. Der TEI misst, ob Unternehmen das, was sie gespeichert haben, tatsächlich nutzen oder ob sie einfach nur Notizen horten, nach denen sie nie wieder sehen.
3. Die „Teure Wahl“-Gewohnheit (Premium Model Share): Nicht jede Frage benötigt eine Super-Genie-KI. Manchmal reicht eine normale KI völlig aus. Aber manche Unternehmen nutzen die teuerste, leistungsstärkste KI für alles, selbst für einfache Aufgaben wie „Wie wird das Wetter?“. Der TEI prüft, ob ein Unternehmen einen „Ferrari“ für einen Ausflug zum Supermarkt benutzt, wenn ein „Fahrrad“ die Aufgabe erledigt hätte.

Das Zeugnis: Von Chaos zu einer Note von 0–100

Die Arbeit erklärt, dass sie Daten von 39 verschiedenen Organisationen (von einzelnen Entwicklern bis hin zu Forschungsinstituten) in einen speziellen Rechner eingespeist haben. Sie haben die Zahlen nicht einfach gemittelt, da dies irreführend sein kann. Stattdessen verwendeten sie eine clevere Methode namens „Benefit of the Doubt“ (BoD).

So funktioniert das in einfachem Deutsch: Stellen Sie sich einen Schüler vor, der gut in Mathe, aber schlecht in Kunst ist. Wenn man seine Noten im Durchschnitt berechnet, wirkt er vielleicht durchschnittlich. Aber wenn man sagt: „Okay, lassen wir ihn bei Kunst einmal durchgehen und schauen, wie er abschneidet, wenn wir uns auf Mathe konzentrieren“, dann glänzt er vielleicht. Der TEI macht dies für Unternehmen. Er fragt: „Was ist die bestmögliche Art, die Daten dieses Unternehmens zu betrachten, damit es so gut wie möglich dasteht?“ Wenn ein Unternehmen selbst dann noch schlecht abschneidet, wenn man ihm diesen „Vorteil der Zweifel an der Unschuld“ (Benefit of the Doubt) zugesteht, dann ist es wirklich ineffizient.

Um sicherzustellen, dass die Punktzahl nicht durch ein einzelnes seltsames Unternehmen, das zufällig ein Ausreißer ist (wie ein Limonadenstand, der versehentlich eine Million Zitronen gekauft hat), verfälscht wird, fügten sie einen „robusten“ Kniff hinzu. Sie führten die Berechnung 500 Mal durch, wobei sie jedes Mal eine zufällige Gruppe von Vergleichspartnern auswählten. Dies glättet die Unregelmäßigkeiten und liefert eine fairere Punktzahl.

Was die Zahlen sagen

Als sie diesen Test mit ihrer Gruppe von 39 Organisationen durchführten, fanden sie einige interessante Dinge heraus:

• Der Score-Bereich: Die Punktzahlen reichten von einem Tiefpunkt von 34,7 bis zu einem Hoch von 100.
• Der „Super-Effiziente“-Club: Eine überraschende Anzahl von Unternehmen – 13 von 39 – war so effizient, dass sie tatsächlich über der perfekten Punktzahl von 100 lagen (technisch gesehen lag ihr Rohwert über 1,0). Das bedeutet, sie schnitten besser ab als die von den Autoren gesetzte „Best Practice“-Grenze.
• Die großen Gewinner: Die Unternehmen, die am höchsten bewerteten, waren diejenigen, die ihre Informationen wiederverwendeten (hohe Cache Hit Rates) und kein Geld für teure Modelle bei einfachen Aufgaben verschwendeten.
• Die großen Verlierer: Das Unternehmen mit der niedrigsten Punktzahl (Org 33) hatte einen Wert von 34,7. Die Analyse zeigte, dass dieses Unternehmen teure „Premium“-Modelle für 90,8 % seiner Aufgaben nutzte, während die leistungsstärksten Vergleichspartner sie nur für etwa 14,3 % einsetzten. Das Papier legt nahe, dass dieses Unternehmen, wenn es diese eine Gewohnheit korrigiert hätte, schätzungsweise 72.150 $ sparen könnte.

Was dieses Papier nicht sagt

Es ist wichtig zu wissen, was dieses Papier nicht behauptet. Die Autoren sind sehr vorsichtig und betonen, dass dies eine Simulation und ein Benchmark ist, kein Zauberstab, der alles sofort repariert.

• Es ist keine „Einheitsregel“: Das Papier schließt explizit die Idee aus, dass es einen einzigen „perfekten“ Weg gibt, Geld für KI auszugeben. Der TEI ändert seine Gewichtungen, je nachdem, worin ein Unternehmen gut ist.
• Es ist noch nicht perfekt: Die Autoren geben zu, dass ihre Daten begrenzt sind. Sie haben nur 39 Organisationen untersucht und konnten die „Außenwelt“ (wie etwa die Nutzung von KI-Produkten durch Kunden) nicht sehen. Sie konnten auch nicht feststellen, ob ein Unternehmen ein leistungsstarkes Modell für eine schwierige Aufgabe benötigte oder ob es lediglich die Leistung gegenüber den Kosten priorisierte. Daher könnte die Metrik „Premium Model Share“ ein Unternehmen manchmal für kluges Handeln bestrafen, anstatt für Verschwendung.
• Es ist keine Kristallkugel: Die Einsparungszahlen (wie die 72.150 $) sind „gerichtete Schätzungen“. Es handelt sich um fundierte Vermutungen basierend auf Durchschnitten, nicht um präzise Prognosen.

Das Fazit

Der Token Efficiency Index ist eine neue Art, KI-Ausgaben zu betrachten, die über die Frage „Wie viel haben wir ausgegeben?“ hinausgeht und fragt: „Wie klug haben wir ausgegeben?“. Indem er komplexe Daten in eine einfache Punktzahl von 0 bis 100 umwandelt, hilft er Unternehmen zu erkennen, wo sie Geld verschwenden und wo sie eine großartige Arbeit leisten.

Die Autoren schlagen vor, dass dieses Werkzeug ein guter Anfang ist, aber mehr Daten benötigt, um besser zu werden. Sie hoffen, dass in Zukunft mehr Unternehmen ihre Daten (anonymisiert) teilen, damit die „Peer-Gruppe“ größer wird und die Punktzahlen noch genauer werden. Für den Moment ist es ein leistungsstarkes Licht in einem dunklen Raum, das uns zeigt, dass Unternehmen mit ein paar kleinen Änderungen – wie der Wiederverwendung von Informationen und der Wahl des richtigen Werkzeugs für die Aufgabe – viel Geld sparen können, ohne an Gehirnleistung einzubüßen.