Capability, ranking dynamics, and inference pricing in the large language model ecosystem: evidence from linked public data
Diese Arbeit integriert verknüpfte öffentliche Daten aus Leaderboards, Präferenzpanels durch Menschen und Preisverzeichnissen, um das Ökosystem der großen Sprachmodelle zu charakterisieren, wobei sie aufzeigt, dass die Leistung mit der Parameteranzahl und der Zeit skaliert, Präferenzbewertungen eine schnelle Fluktuation sowie Stabilität innerhalb von Modellen aufweisen und die Preisgestaltung signifikant durch Leistungsbewertungen und den Status als Open-Weight-Modell getrieben wird, trotz bemerkenswerter Preisvariationen der Anbieter.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich schnell entwickelnden Welt der künstlichen Intelligenz ist ein spezieller Typ von Computerprogramm, bekannt als großes Sprachmodell, zu einem zentralen Werkzeug für das Schreiben, das Schlussfolgern und das Lösen von Problemen geworden. Diese Systeme werden mit riesigen Mengen an Text trainiert und lernen, das nächste Wort in einem Satz vorherzusagen, bis sie in der Lage sind, kohärente Absätze zu generieren, komplexe Fragen zu beantworten und sogar Code zu schreiben. Da es mittlerweile Tausende dieser Modelle gibt – von massiven Systemen, die von riesigen Technologieunternehmen entwickelt wurden, bis hin zu kleineren, offenen Versionen, die von unabhängigen Forschern erstellt wurden –, ist die Notwendigkeit entstanden, zu verstehen, wie sie miteinander vergleichbar sind. Um dies zu tun, verlassen sich die Gemeinschaft auf zwei Dinge: standardisierte Tests, bei denen Modelle eine Reihe schwieriger Fragen beantworten, um eine Punktzahl zu erreichen, und menschliche Präferenz-Arenen, in denen Menschen darüber abstimmen, welche von zwei Modellantworten ihnen besser gefällt. Neben diesen Leistungsmetriken hat sich ein Markt entwickelt, in dem Unternehmen den Zugang zu diesen Modellen pro Wort verkaufen, was eine komplexe Landschaft aus Preisen und Fähigkeiten schafft, die schwer zu navigieren ist.
Eine aktuelle Studie von Peter Bago von der Corvinus-Universität Budapest versuchte, Ordnung in dieses chaotische Ökosystem zu bringen, indem sie drei massive, öffentliche Datenquellen miteinander verknüpfte. Der Forscher kombinierte einen Datensatz aus tausenden Testergebnissen von offenen Modellen, ein langfristiges Protokoll menschlicher Präferenzrankings und einen umfassenden Katalog der von verschiedenen Anbietern erhobenen Preise. Durch die Verknüpfung dieser Datensätze ging die Studie über die Betrachtung nur der berühmtesten Modelle hinaus, um die gesamte Landschaft zu untersuchen und zu fragen, wie Leistung mit Größe zusammenhängt, wie sich Rankings im Laufe der Zeit verändern und wie der Preis tatsächlich bestimmt wird. Das Ziel war nicht, einen einzelnen Gewinner zu küren, sondern die zugrunde liegenden Regeln zu verstehen, die bestimmen, wie diese digitalen Werkzeuge bewertet werden und wie sie sich entwickeln.
Die erste große Entdeckung betrifft die Natur der Tests selbst. Die Studie analysierte über 4.500 Datensätze von offenen Modellen, die auf sechs verschiedenen Benchmarks getestet worden waren, die von der Befolgung von Anweisungen bis hin zu fortgeschrittener Mathematik reichten. Die Forscher fanden heraus, dass diese sechs verschiedenen Tests nicht sechs separate Fähigkeiten messen; stattdessen messen sie überwiegend eine einzige, dominante Fähigkeit. Wenn ein Modell bei einem Test gut abschneidet, schneidet es mit fast völliger Sicherheit auch bei den anderen gut ab. Dieser gemeinsame Nenner erklärt fast drei Viertel der Variation der Punktzahlen im gesamten Ökosystem. Die Studie stellte jedoch auch fest, dass diese Tests am ganz unteren Ende der Leistungsskala Schwierigkeiten haben. Viele Modelle erzielen so niedrige Werte, dass sie nicht von blindem Raten zu unterscheiden sind, was darauf hindeutet, dass aktuelle Tests besser darin sind, die Besten von den Guten zu trennen, als die sehr schlechten von den nicht funktionsfähigen.
Beim Blick darauf, was ein Modell zu besserer Leistung treibt, bestätigte die Studie, dass Größe eine Rolle spielt, aber nicht die ganze Geschichte ist. Größere Modelle, gemessen an der Anzahl der Parameter, die sie enthalten, erzielen im Allgemeinen höhere Punktzahlen. Konkret schneidet ein Modell, das zehnmal größer ist als ein anderes, etwa 13,7 Punkte höher im Durchschnittstest ab. Dennoch ist die Zeit eine ebenso mächtige Kraft. Selbst beim Vergleich von Modellen derselben Größe und des gleichen Typs schneiden diejenigen, die erst kürzlich eingereicht wurden, signifikant besser ab. Ein Modell, das ein Jahr nach einem anderen eingereicht wurde, aber mit der gleichen Menge an Rechenleistung gebaut wurde, erzielt etwa 10,5 Punkte mehr. Dies deutet darauf hin, dass sich das Feld nicht nur durch den Bau größerer Maschinen verbessert, sondern durch das Finden klügerer Wege, sie zu trainieren. Die Studie fand auch heraus, dass Modelle, die für die Konversation konzipiert sind oder die durch das Zusammenführen bestehender Modelle erstellt wurden, ihre rohen, unveränderten Gegenstücke oft übertreffen, was darauf hindeutet, dass der Prozess des Fine-Tunings und der Kombination ein wichtiger Treiber des aktuellen Fortschritts ist.
Die menschliche Seite des Ökosystems erzählt eine andere Geschichte über Stabilität. Die Studie verfolgte die am besten bewerteten Modelle in einer menschlichen Präferenz-Arena über mehr als ein Jahr und beobachtete, dass die Führung extrem flüchtig ist. Der Titel des besten Modells wechselte 19 Mal das Hand, wobei der durchschnittliche Spitzenreiter die oberste Position nur etwa 12 Tage lang hielt. Trotz dieses ständigen Umschwungs blieb die Lücke zwischen dem allerbesten und dem zehntbesten Modell überraschend stabil. Die Studie enthüllte auch eine signifikante Verschiebung im Bewertungssystem selbst. An einem bestimmten Datum im Mai 2025 änderte sich die Standardmethode zur Berechnung der Punktzahlen, was dazu führte, dass die Bewertung jedes Modells über Nacht um etwa 18 Punkte sprang. Dies bedeutete, dass der Vergleich von Punktzahlen vor und nach diesem Datum ohne Anpassung irreführend wäre, da die Zahlen nicht mehr auf derselben Skala lagen. Vor dieser Änderung waren die Bewertungen stabil, und die Modelle driften nicht einfach nach oben oder unten, nur weil sie wiederholt gelistet wurden.
Perhaps die komplexeste Erkenntnis bezieht sich auf den Preis der Nutzung dieser Modelle. Die Studie untersuchte fast 2.700 verschiedene Preisangebote von 82 verschiedenen Anbietern. Sie fand heraus, dass die Preise für exakt dasselbe Modell stark variieren können, je nachdem, wer es verkauft. Für Modelle, die von drei oder mehr Anbietern angeboten werden, ist das teuerste Angebot typischerweise 38 Prozent höher als das günstigste, und für einige Modelle ist der Unterschied sogar noch größer. Dies deutet darauf darauf hin, dass man allein durch den Vergleich verschiedener Anbieter eine erhebliche Menge Geld sparen kann. Die Studie entwickelte auch ein Modell, um zu verstehen, was diese Preise antreibt. Sie fand heraus, dass die Leistungsfähigkeit ein wesentlicher Faktor ist: Ein Modell, das um eine Standardabweichung besser in den menschlichen Präferenzbewertungen ist, erzielt einen Preis, der mehr als dreimal so hoch ist. Dass es sich jedoch um ein offenes Modell handelt, dessen Code öffentlich verfügbar ist, wirkt wie ein massiver Rabatt, der den Preis auf weniger als ein Fünftel dessen senkt, was ein proprietäres Modell mit ähnlichen Fähigkeiten kosten würde. Zusätzlich stellte die Studie fest, dass ältere Modelle, also solche, die schon länger gelistet sind, tendenziell einen Preisaufschlag tragen, was darauf hindeutet, dass etablierte Modelle ihren Wert behalten, selbst wenn neuere, potenziell bessere Modelle eintreffen.
Schließlich prüfte die Studie, wie gut die zwei Hauptwege zur Qualitätsmessung übereinstimmen. Als die Forscher die 69 Modelle betrachteten, die sowohl in den Test-Ergebnis-Datensätzen als auch in den menschlichen Präferenz-Rankings auftauchten, fanden sie eine starke Übereinstimmung. Modelle, die in den standardisierten Tests gut abschnitten, waren im Allgemeinen dieselben, die auch von Menschen bevorzugt wurden. Diese Konvergenz deutet darauf hin, dass die Tests und die menschlichen Stimmen zwar Dinge etwas unterschiedlich messen, aber beide auf dieselbe Realität der Leistungsfähigkeit hindeuten. Die Studie kommt zu dem Schluss, dass, obwohl die Landschaft weitläufig und die Daten unordentlich sind, klare Muster entstehen, wenn die Quellen miteinander verknüpft werden. Das Ökosystem wird durch eine einzige dominante Fähigkeit angetrieben, durch Zeit und Größe verbessert und in einer Weise bepreist, die Leistung belohnt, aber den offenen Zugang massiv rabattiert. Für jeden, der diese Werkzeuge verstehen oder kaufen möchte, lautet die Lektion: Die Leistung ist berechenbar, die Führung ist vorübergehend, und der Preis, den man zahlt, hängt ebenso sehr davon ab, wer es verkauft und wann man kauft, wie davon, was das Modell tatsächlich leisten kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.