💬 NLP

JE-IRT: A Geometric Lens on LLM Abilities through Joint Embedding Item Response Theory

JE-IRT introduceert een geometrisch kader dat LLM's en vragen in een gedeelde ruimte inbedt waar de richting van de vraag de semantiek codeert en de norm de moeilijkheid codeert, waardoor globale ranglijsten worden vervangen door een multidimensionaal beeld dat modelspecialisatie onthult, gedrag buiten de distributie verklaart en latente vermogensstructuren blootlegt die verder gaan dan door mensen gedefinieerde categorieën.

Oorspronkelijke auteurs: Louie Hong Yao, Nicholas Jarvis, Tiffany Zhan, Saptarshi Ghosh, Linfeng Liu, Tianyu Jiang

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Louie Hong Yao, Nicholas Jarvis, Tiffany Zhan, Saptarshi Ghosh, Linfeng Liu, Tianyu Jiang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een klas studenten probeert te beoordelen die een enorme, gemengde verzameling examens maken. Sommige examens gaan over wiskunde, sommige over geschiedenis, sommige over biologie, en sommige zijn gewoon lastige logische puzzels.

De Oude Manier (De Enkele Score)
Traditioneel, wanneer we Large Language Models (LLM's) evalueren, geven we ze één cijfer, zoals een gemiddelde. We zeggen: "Model A heeft een score van 90, en Model B heeft een score van 85, dus Model A is beter."

De auteurs van dit artikel betogen dat dit misleidend is. Het is alsof je zegt dat een student die een genie is in calculus maar verschrikkelijk is in poëzie, "beter" is dan een student die een middelmatige wiskundige is maar een briljant dichter. De enkele score verbergt het feit dat modellen verschillende sterktes en zwaktes hebben afhankelijk van het specifieke onderwerp.

De Nieuwe Manier: JE-IRT (De Geometrische Kaart)
De auteurs stellen een nieuw systeem voor genaamd JE-IRT. In plaats van een enkel getal, stellen ze zich een gigantische, meerdimensionale kaart (een geometrische ruimte) voor waar zowel de modellen als de vragen leven.

Zo werkt de kaart, met een eenvoudige analogie:

De Vragen zijn Pijlen:
- Richting (Waar de pijl naartoe wijst): Dit vertegenwoordigt het onderwerp of de betekenis van de vraag. Een pijl die naar het "Noorden" wijst, kan wiskundevragen vertegenwoordigen, terwijl een pijl die naar het "Oosten" wijst, geschiedenisvragen vertegenwoordigt.
- Lengte (Hoe lang de pijl is): Dit vertegenwoordigt de moeilijkheidsgraad. Een korte pijl is een makkelijke vraag; een lange pijl is een zeer moeilijke vraag.
De Modellen zijn Ook Pijlen:
- Elk AI-model heeft zijn eigen pijl op deze kaart.
- Richting: Dit laat zien waar het model goed in is. Als een model naar het Noorden wijst, is het goed in wiskunde. Als het naar het Oosten wijst, is het goed in geschiedenis.
- Lengte: Dit gaat niet over de moeilijkheid voor het model, maar over de algemene "kracht" of capaciteit.

Hoe Ze Interageren (De Magische Formule)
Het systeem voorspelt of een model een vraag goed zal beantwoorden door te kijken naar hoe hun pijlen interageren:

Uitlijning: Als de pijl van het model in dezelfde richting wijst als de pijl van de vraag, zijn ze "uitgelijnd". Dit betekent dat het model goed is in dat specifieke onderwerp.
De Strijd: Het vermogen van het model om correct te antwoorden, wordt berekend door de "uitgelijnde kracht" te nemen en de "lengte" van de vraag (moeilijkheidsgraad) ervan af te trekken.
- Als het model sterk en uitgelijnd is en de vraag niet te lang (moeilijk) is, wint het model (beantwoordt de vraag goed).
- Als de vraag erg lang (moeilijk) is of als de pijl in een andere richting wijst (verkeerd onderwerp), verliest het model.

Wat Ze Ontdekten
Door deze kaart te bouwen, ontdekten de onderzoekers een aantal verrassende dingen:

Niemand is "Het Beste" in Alles: Ze bewezen dat je modellen niet in een enkele lijn van "slechtst" naar "best" kunt rangschikken. Een model kan de koning van de wiskunde zijn maar falen in biologie, terwijl een ander precies het tegenovergestelde is. Het oude "enkele score"-systeem faalt omdat het probeert een platte rangschikking af te dwingen op een 3D-wereld.
Moeilijkheidsgraad is Echt: De lengte van de vraagpijlen (normen) voorspelde betrouwbaar hoe moeilijk een vraag was. Langere pijlen betekenden moeilijkere vragen, ongeacht het onderwerp.
Modellen Hebben Hun Eigen "Onderwerp"-Kaart: Wanneer de onderzoekers de vragen groepeerden op basis van hoe de modellen ze zagen, kwamen de groepen niet perfect overeen met menselijke schoolvakken (zoals "Wiskunde" of "Geschiedenis").
- Voorbeeld: Ze ontdekten een verborgen "Rekenkundige As". Dit was niet alleen voor de wiskundeles. Het toonde aan dat vragen in Virologie of Wereldwijde Feiten die het berekenen van ratio's of percentages vereisten, in de ogen van het model eigenlijk "wiskundevragen" waren, zelfs als ze er niet uitzagen als wiskundeproblemen. De modellen organiseren kennis op basis van de vaardigheid die nodig is om het op te lossen, niet alleen op basis van de naam op het tekstboek.
Snelle Updates: Als er een gloednieuw AI-model uitkomt, hoef je de hele kaart niet opnieuw op te bouwen. Je hoeft alleen maar te vinden waar zijn pijl op de bestaande kaart thuishoort. Het is als het toevoegen van een nieuwe student aan een klassenlijst; je geeft ze simpelweg een zitplaats op basis van hun vaardigheden, zonder de hele school opnieuw te onderwijzen.

Waarom Dit Belangrijk Is
Dit raamwerk geeft ons een duidelijker, eerlijker beeld van wat AI-modellen daadwerkelijk kunnen. In plaats van een wazig gemiddelde score, krijgen we een gedetailleerde kaart die precies laat zien in welke onderwerpen een model uitblinkt, waar het moeite mee heeft en hoe moeilijk de vragen echt zijn. Het helpt ons te begrijpen dat AI niet alleen "slim" of "dom" is—het heeft een complexe, veelzijdige persoonlijkheid van vaardigheden.

Technische Samenvatting: JE-IRT: Een Geometrische Lens op de Mogelijkheden van LLM's via Joint Embedding Item Response Theory

Probleemstelling

Standaard evaluatiepraktijken voor Large Language Models (LLM's) comprimeren diverse capaciteiten doorgaans tot enkelvoudige geaggregeerde scores of leaderboard-ranglijsten. Deze aanpak verhult de inherent multidimensionale aard van LLM-competentie. Hoewel profileringsmethoden proberen benchmarks te groeperen op basis van menselijk gedefinieerde vakgebieden (bijv. wiskunde, recht, biologie), weerspiegelen deze categorieën eerder onderwijscurricula dan de interne representationele structuren van modellen, die zijn geoptimaliseerd op corpora met gemengde domeinen zonder expliciete vakgrenzen.

Bovendien faalt de traditionele Item Response Theory (IRT), die de interactie tussen een scalaire modelcapaciteit en itemgemakheid modelleert, om het gedrag van LLM's empirisch te vatten. Twee belangrijke patronen dagen de traditionele scalaire visie uit:

Gebrek aan Universele Ordening: Een enkele scalaire capaciteitsscore induceert geen consistente globale ordening van modellen over alle items; modellen met een hogere capaciteit presteren niet noodzakelijkerwijs beter dan modellen met een lagere capaciteit op elke vraag.
Gladde Variatie: Het gedrag van modellen varieert vloeiend over semantisch gerelateerde items, wat suggereert dat capaciteit niet een enkel punt is, maar een functie van directionele afstemming met de semantische inhoud van de vraag.

Methodologie: JE-IRT Framework

De auteurs stellen JE-IRT (Joint Embedding Item Response Theory) voor, een geometrisch framework dat zowel modellen als vragen in een gedeelde hoogdimensionale ruimte $\mathbb{R}^d$ inbedt. In tegen tegenstelling tot traditionele IRT, die itemparameters behandelt als inhoudsneutrale latente variabelen, koppelt JE-IRT moeilijkheidsgraad en discriminatie direct aan de semantiek van de vraag.

Geometrische Formulering

In JE-IRT wordt de waarschijnlijkheid van een correct antwoord bepaald door de geometrische interactie tussen een model-embedding $E_{M_i}$ en een vraag-embedding $E_{Q_j}$ :
$P(M_i, Q_j) = \sigma \left( \frac{E_{Q_j} \cdot E_{M_i}}{\|E_{Q_j}\|} - \|E_{Q_j}\| \right)$

Belangrijke geometrische interpretaties zijn:

Richting ( $E_{Q_j} / \|E_{Q_j}\|$ ): Codeert de semantische specialisatie of het onderwerp van de vraag.
Norm ( $\|E_{Q_j}\|$ ): Codeert de moeilijkheidsgraad van de vraag. Een grotere norm komt overeen met een moeilijkere vraag.
Geprojecteerde Capaciteit: De term $\frac{E_{Q_j} \cdot E_{M_i}}{\|E_{Q_j}\|}$ vertegenwoordigt de projectie van de embedding van het model op de richting van de vraag, wat effectief meet hoe goed de specifieke capaciteiten van het model afstemmen op de semantische vereisten van de vraag.

Modelarchitectuur en Training

Vraag-embeddings: Genereren via een tweestaps-proces: een bevroren vooraf getrainde tekstencoder (bijv. ModernBERT-Large of Sentence-Transformer) gevolgd door een trainbare adapter (een twee-laagse MLP). Dit zorgt ervoor dat embeddings worden afgeleid van de inhoud in plaats van als vrije parameters te worden behandst.
Model-embeddings: Worden geleerd als trainbare vectoren $E_{M_i}$ uit een embedding-tabel, uitsluitend afgeleid van geobserveerde responspatronen (binaire juistheid) over vragen heen.
Optimalisatie: Het systeem wordt end-to-end getraind door het minimaliseren van de binary cross-entropy loss.

Theoretische Eigenschappen

Het framework voldoet aan twee cruciale eigenschappen:

Geen Globale Capaciteitsordening: De geometrie ondersteunt van nature gespecialiseerde capaciteiten waarbij geen enkel model alle anderen domineert, wat kruisingen in prestaties op basis van onderwerp mogelijk maakt.
Stabiliteit: Voorspelde waarschijnlijkheden veranderen vloeiend voor semantisch vergelijkbare vragen (kleine hoekscheiding), begrensd door het verschil in norm en de hoek-misalignment.

Belangrijkste Bijdragen

Empirische Weerlegging van Scalaire Ordening: De auteurs demonstreren dat de aannames van de traditionele 2-parameter logistische (2PL) IRT falen op LLM-data. De fits leveren vaak negatieve of bijna nul-waardige discriminatieparameters op, en item-karakteristieke curves zijn niet-monotoon, wat bewijst dat een enkele scalaire capaciteit niet de correctheid van een LLM over diverse benchmarks kan verklaren.
JE-IRT Framework: Introductie van een geometrische IRT-formulering waarbij de oriëntatie van de vraag de semantiek vangt en de norm de moeilijkheidsgraad. Deze formulering presteert beter dan baselines (inclusief KNN en EmbedLLM) in termen van voorspellingsnauwkeurigheid terwijl het aanzienlijk lagere dimensies voor de embeddings gebruikt.
Schaalbare Integratie: Het framework maakt de dataefficiënte integratie van nieuwe LLM's mogelijk. Zodra de vraag-embeddings zijn geleerd, kan een nieuw model worden toegevoegd door alleen de enkele embedding-vector van het model te trainen, waarbij slechts 10% van de data nodig is om nabij de prestaties van joint-training te komen.
Interpreteerbare Geometrie:
- Moeilijkheidsgraad: De normen van de embeddings correleren betrouwbaar met de moeilijkheidsgraad van de vraag (hogere norm = lagere nauwkeurigheid).
- Taxonomie: Clustering van vraag-embeddings onthult een LLM-gecentreerde taxonomie die slechts gedeeltelijk overeenkomt met menselijke onderwerpen (bijv. MMLU-categorieën), wat suggereert dat modellen kennis organiseren volgens latente capaciteitsvereisten in plaats van curriculaire labels.
- Cross-Subject Capaciteiten: Lineaire probes (difference-of-means) kunnen interpreteerbare capaciteitsrichtingen herstellen, zoals een "rekenkundige as", die de kwantitatieve redeneereisen in niet-wiskundige onderwerpen (bijv. virologie, globale feiten) correct identificeert waar ruwe semantische embeddings falen.

Experimentele Resultaten

Voorspellingsnauwkeurigheid: JE-IRT bereikt testnauwkeurigheden van ~75% op de EmbedLLM-dataset (112 modellen, 10 benchmarks), waarmee het baselines zoals EmbedLLM (74,09%) en KNN (71,52%) overtreft.
Dimensionaliteit: De hoge prestaties worden behaald met laagdimensionale embeddings (piekend rond $d=256$ ), wat aangeeft dat de voorspellende structuur effectief laagdimensionaal is.
Out-of-Distribution (OOD) Generalisatie: Leave-one-out experimenten laten zien dat benchmarks met een hoge directionele afstemming met de trainingspool (bijv. LogiQA, MathQA) kleinere prestatiedalingen lijden wanneer ze worden uitgesloten. Benchmarks met een lage afstemming (bijv. PIQA) vertonen grotere dalingen, wat de directionele afstemming valideert als een diagnostisch instrument voor generaliseerbaarheid.
Routing: In een kosten-agnostische routingtaak verbetert JE-IRT de selectienauwkeurigheid met ongeveer 10 procentpunten ten opzichte van een "best-average" baseline en overtreft het een "per-benchmark best" baseline, wat het nut van de geleerde geometrie voor downstream toepassingen aantoont.

Betekenis en Claims

Het artikel positioneert JE-IRT als een verenigde en interpreteerbare geometrische lens om de verbinding tussen LLM-capaciteiten en de structuur van vragen te leggen. De primaire betekenis ligt in:

Verder gaan dan Aggregaten: Het biedt een onderscheidend perspectief op modelevaluatie dat beweegt van enkelvoudige ranglijsten naar een multidimensionaal beeld van specialisatie en moeilijkheidsgraad.
Mechanistisch Begrip: De geleerde geometrie biedt een compacte representatie van hoe capaciteiten over taken heen worden overgedragen, waarbij wordt onthuld dat modellen kennis organiseren volgens hun eigen representationele structuren in plaats van menselijke onderwerpen.
Praktisch Nut: Het framework ondersteunt praktische taken zoals het routeren van queries naar het meest capabele model en het generaliseren naar nieuwe modellen met minimale data, wat inspeelt op de snelle release van LLM's.

De auteurs concluderen dat JE-IRT een fundament legt voor het ontwikkelen van meer mechanistische verklaringen voor LLM-generalisatie, hoewel zij opmerken dat er beperkingen zijn met betrekking tot binaire labels en de behoefte aan toekomstig werk op het gebied van gegradeerde scores en multi-objective evaluatiesignalen.