Capability, ranking dynamics, and inference pricing in the large language model ecosystem: evidence from linked public data
Dit artikel integreert gekoppelde publieke gegevens van leaderboards, menselijke voorkeurspanelen en prijscatalogi om het ecosysteem van grote taalmodellen te karakteriseren, waarbij wordt onthuld dat prestaties schalen met het aantal parameters en tijd, voorkeursbeoordelingen een snelle omloop en stabiliteit binnen modellen vertonen, en prijzen significant worden gedreven door capaciteitsscores en de status van open gewichten ondanks opmerkelijke variaties in prijzen tussen aanbieders.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van kunstmatige intelligentie is een specifiek type computerprogramma, bekend als een groot taalmodel, een centraal hulpmiddel geworden voor schrijven, redeneren en het oplossen van problemen. Deze systemen worden getraind op enorme hoeveelheden tekst, waarbij ze leren om het volgende woord in een zin te voorspellen totdat ze coherente paragrafen kunnen genereren, complexe vragen kunnen beantwoorden en zelfs code kunnen schrijven. Omdat er nu duizenden van deze modellen zijn, variërend van massieve systemen gebouwd door gigantische technologiebedrijven tot kleinere, open versies gemaakt door onafhankelijke onderzoekers, is er een behoefte ontstaan om te begrijpen hoe zij met elkaar vergelijken. Hiervoor vertrouwt de gemeenschap op twee belangrijke zaken: gestandaardiseerde tests, waarbij modellen een reeks moeilijke vragen beantwoorden om een score te behalen, en menselijke voorkeursarena's, waar mensen stemmen op welke van de twee antwoorden van een model zij beter vinden. Naast deze prestatie-indicatoren is er een markt ontstaan waar bedrijven toegang tot deze modellen verkopen per woord, wat een complex landschap van prijzen en capaciteiten creëert dat moeilijk te navigeren is.
Een recente studie door Peter Bago van de Corvinus Universiteit van Boedapest zocht naar een manier om orde te scheppen in dit chaotische ecosysteem door drie enorme, publieke bronnen van gegevens aan elkaar te koppelen. De onderzoeker combineerde een overzicht van duizenden testscores van open modellen, een langetermijnlog van menselijke voorkeursrangschikkingen en een uitgebreide catalogus van prijzen die door verschillende aanbieders worden gerekend. Door deze datasets te verbinden, ging de studie verder dan het kijken naar alleen de meest beroemde modellen om het gehele landschap te onderzoeken, waarbij werd gevraagd hoe prestaties zich verhouden tot grootte, hoe rangschikkingen in de loop van de tijd veranderen en hoe de prijs daadwerkelijk wordt bepaald. Het doel was niet om een enkele winnaar uit te roepen, maar om de onderliggende regels te begrijpen die bepalen hoe deze digitale hulpmiddelen worden gewaardeerd en hoe ze evolueren.
De eerste grote ontdekking betreft de aard van de tests zelf. De studie analyseerde meer dan 4.500 records van open modellen die waren getest op zes verschillende benchmarks, variërend van instructieopvolging tot geavanceerde wiskunde. De onderzoekers ontdekten dat deze zes verschillende tests niet zes afzonderlijke vaardigheden meten; in plaats daarvan meten ze overweldigend één enkele, dominante capaciteit. Wanneer een model goed presteert op één test, presteert het vrijwel zeker ook goed op de andere. Deze gemeenschappelijke draad verklaart bijna drie kwart van de variatie in scores binnen het gehele ecosysteem. De studie merkte echter ook op dat deze tests moeite hebben bij de onderste laag van de prestatieschaal. Veel modellen scoren zo laag dat ze niet te onderscheiden zijn van willekeurig gokken, wat suggereert dat huidige tests beter zijn in het onderscheiden van de beste van de goede, dan in het onderscheiden van de zeer slechte van de niet-functionele.
Bij het kijken naar wat een model ertoe aanzet beter te presteren, bevestigde de studie dat grootte ertoe doet, maar dat het niet het hele verhaal is. Grotere modellen, gemeten aan het aantal parameters dat ze bevatten, scoren over het algemeen hoger. Specifiek scoort een model dat tien keer groter is dan een ander, ongeveer 13,7 punten hoger op de gemiddelde test. Toch is tijd een even krachtige kracht. Zelfs bij het vergelijken van modellen van dezelfde grootte en type, presteren modellen die recenter zijn ingediend aanzienlijk beter. Een model dat één jaar na een ander model is ingediend, maar met dezelfde hoeveelheid rekenkracht is gebouwd, scoort ongeveer 10,5 punten hoger. Dit suggereert dat het veld niet alleen verbetert door grotere machines te bouwen, maar door slimmere manieren te vinden om ze te trainen. De studie vond ook dat modellen die zijn ontworpen voor conversatie of die zijn gecreëerd door bestaande modellen te combineren, vaak beter presteren dan hun ruwe, ongewijzigde tegenhangers, wat aangeeft dat het proces van finetunen en combineren een belangrijke drijfveer is van de huidige vooruitgang.
De menselijke kant van het ecosysteem vertelt een ander verhaal over stabiliteit. De studie volgde de best gerangschikte modellen in een menselijke voorkeursarena gedurende meer dan een jaar en observeerde dat leiderschap ongelooflijk vluchtig is. De titel van het beste model wisselde 19 keer van eigenaar, waarbij de gemiddelde leider de bovenste plek slechts ongeveer 12 dagen behield. Ondanks deze constante omzet, bleef de kloof tussen de allerbeste en de tiende beste model verrassend stabiel. De studie onthulde ook een significante verschuiving in het scoringssysteem zelf. Op een specifieke datum in mei 2025 veranderde de standaardmanier waarop scores werden berekend, waardoor de rating van elk model van de ene op de andere dag met ongeveer 18 punten steeg. Dit betekende dat het vergelijken van scores van vóór en na die datum zonder aanpassing misleidend zou zijn, omdat de cijfers niet langer op dezelfde schaal stonden. Vóór deze verandering waren de ratings stabiel, en modellen driften niet omhoog of omlaag simpelweg door herhaaldelijk te worden vermeld.
Misschien wel de meest complexe bevinding heeft betrekking op de prijs van het gebruik van deze modellen. De studie onderzocht bijna 2.700 verschillende prijsvermeldingen van 82 verschillende aanbieders. Het stelde vast dat de prijzen voor exact hetzelfde model sterk kunnen variëren, afhankelijk van wie het verkoopt. Voor modellen die door drie of meer aanbieders worden aangeboden, is de duurste vermelding doorgaans 38 procent hoger dan de goedkoopste, en voor sommige modellen is het verschil zelfs groter. Dit suggereert dat men simpelweg rondkijken kan besparen om een aanzienlijk bedrag aan een koper te besparen. De studie bouwde ook een model om te begrijpen wat deze prijzen drijft. Het vond dat capaciteit een belangrijke factor is: een model dat één standaarddeviatie beter is in menselijke voorkeursratings, vraagt een prijs die meer dan drie keer zo hoog is. Echter, het een open model zijn, waarbij de code publiekelijk beschikbaar is, werkt als een enorme korting, waardoor de prijs wordt teruggebracht tot minder dan een vijfde van wat een propriëtair model met vergelijkbare vaardigheden zou kosten. Daarnaast vond de studie dat oudere modellen, die al langer vermeld staan, de neiging hebben een prijspremie te dragen, wat suggereert dat gevestigde modellen hun waarde behouden zelfs wanneer nieuwere, potentieel betere modellen arriveren.
Ten slotte controleerde de studie hoe goed de twee belangrijkste manieren om kwaliteit te meten overeenstemmen. Wanneer de onderzoekers naar de 69 modellen keken die zowel in de testscore-records als in de menselijke voorkeursrangschikkingen voorkwamen, vonden zij een sterke overeenstemming. Modellen die goed scoorden op de gestandaardiseerde tests, waren over het algemeen dezelfde modellen die mensen de voorkeur gaven. Deze convergentie suggereert dat hoewel de tests en de menselijke stemmen dingen iets anders meten, ze beide wijzen naar dezelfde realiteit van capaciteit. De studie concludeert dat hoewel het landschap uitgestrekt is en de gegevens rommelig zijn, er duidelijke patronen ontstaan wanneer de bronnen aan elkaar worden gekoppeld. Het ecosysteem wordt gedreven door een enkele dominante capaciteit, verbeterd door tijd en grootte, en geprijsd op een manier die prestaties beloont maar open toegang zwaar kort. Voor iedereen die deze hulpmiddelen probeert te begrijpen of te kopen, is de les dat prestaties voorspelbaar zijn, leiderschap tijdelijk is, en dat de prijs die je betaalt evenzeer afhangt van wie het verkoopt en wanneer je koopt, als van wat het model daadwerkelijk kan doen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.