Language Model Maps for Prompt-Response Distributions via Log-Likelihood Vectors

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds diverser, wat de noodzaak creëert voor systematische frameworks om het gedrag van verschillende modellen te vergelijken. Bestaande methoden voor modelvergelijking hebben echter beperkingen:

1. Interne representaties: Vergelijkingen op basis van gewichten of interne activaties zijn moeilijk toe te passen bij modellen met verschillende architecturen.
2. Gegenereerde tekst: Methoden die gegenereerde antwoorden gebruiken (bijv. via embeddings) zijn gevoelig voor de stochastische aard van generatie en variabiliteit in de embedding-ruimte.
3. Onvoorwaardelijke distributies: Eerdere werken (zoals Oyama et al., 2025b) gebruikten log-likelihood vectoren gebaseerd op onvoorwaardelijke tekstverdelingen ($p(y)$). Dit is echter niet ideaal voor LLMs, die per definitie conditionele modellen zijn die een respons $p(y|x)$ genereren op basis van een prompt $x$.

Er is dus behoefte aan een methode die modellen vergelijkt in de context van conditionele generatie, zonder afhankelijk te zijn van gegenereerde tekst, en die de impact van prompts direct kwantificeert.

Methodologie

De auteurs stellen een raamwerk voor om taalmodellen af te beelden in een gedeelde vectorruimte op basis van conditionele log-likelihood vectoren.

1. Conditionele Log-Likelihood Vector

Voor een vooraf gedefinieerde dataset $D = \{(x_s, y_s)\}_{s=1}^N$ van prompt-responsparen, wordt elk model $p_i$ gekarakteriseerd door een vector:
$$\ell_i = (\log p_i(y_1|x_1), \dots, \log p_i(y_N|x_N))^\top$$
Dit is een punt in een Euclidische ruimte. Het paper toont aan dat de gekwadrateerde Euclidische afstand tussen twee gecentreerde vectoren ($\xi_i$ en $\xi_j$) een benadering is van de Kullback-Leibler (KL) divergentie tussen de conditionele verdelingen van de modellen, gemiddeld over de promptverdeling:
$$KL(p_i, p_j) \approx \frac{1}{2N} \|\xi_i - \xi_j\|^2$$
Dit maakt afstanden in deze ruimte interpreteerbaar als een maat voor het verschil in gedrag.

2. PMI-Vectoren (Pointwise Mutual Information)

Om de invloed van de onvoorwaardelijke verdeling ($p(y)$) te verminderen en de focus te leggen op de afhankelijkheid tussen prompt en respons, introduceren de auteurs PMI-vectoren. Deze worden berekend als het verschil tussen de conditionele en onvoorwaardelijke log-likelihood:
$$\Delta \ell_{is} = \log p_i(y_s|x_s) - \log p_i(y_s)$$
Deze vector benadrukt de sterkte van de relatie tussen input en output en kan training-data-specifieke verschillen duidelijker weergeven dan de pure conditionele vectoren.

3. Prompt Shift en Additieve Compositionaliteit

De methode maakt het mogelijk om te analyseren hoe een model verschuift in de vectorruimte wanneer de prompt wordt gemodificeerd (bijv. toevoegen van "Let's think step by step" voor Chain-of-Thought of het herhalen van de prompt). De auteurs definiëren verschuivingsvectoren ($v$) en onderzoeken of deze verschuivingen additief gecombineerd kunnen worden:
$$v_{rep+cot} \approx v_{rep} + v_{cot}$$
Dit suggereert dat de effecten van complexe prompt-operaties voorspeld kunnen worden door de som van individuele operaties.

Experimentele Opzet

• Datasets: Twee sets van 10.000 prompt-responsparen: Tulu-3-SFT-Mixture en Infinity-Instruct-7M.
• Modellen: 552 open-source modellen (tot 70B parameters) van de Open LLM Leaderboard v2.
• Visualisatie: t-SNE en PCA voor het visualiseren van de hoge-dimensionale vectoren in 2D kaarten.
• Validatie: Vergelijking van de geschatte KL-divergentie (via vectordistance) met Monte Carlo-schattingen en semantische afstanden op gegenereerde tekst.

Belangrijkste Resultaten

1. Interpretable Model Maps: De gegenereerde kaarten tonen een betekenisvolle globale structuur. Modellen met dezelfde architectuur (bijv. Llama, Mistral, Qwen) clusteren samen. De ruimtelijke afstand correleert ook met prestaties op benchmarks (zoals de Open LLM Leaderboard).
2. Validatie van KL-benadering: Er is een sterke correlatie ($\rho = 0.94$) tussen de afstand in de log-likelihood vectorruimte en de Monte Carlo-schatting van de KL-divergentie. Dit bevestigt dat de afstand in deze ruimte een betrouwbare proxy is voor het verschil in conditionele verdelingen.
3. Prompt Shift: Het systeem detecteert systematische verschuivingen in de modelpositie bij prompt-modificaties.
4. Additieve Compositionaliteit: De verschuivingen veroorzaakt door verschillende prompt-transformaties (zoals CoT en herhaling) vertonen een sterke additieve eigenschap. De fout bij het voorspellen van een gecombineerde shift via sommatie van individuele shifts is klein (mediaan relatieve fout ~6-8%).
5. PMI vs. Conditioneel: PMI-kaarten blijken in sommige gevallen (vooral bij modellen getraind op specifieke datasets zoals Tulu3) duidelijker de overeenkomst met de trainingsdata weer te geven dan de standaard conditionele kaarten. Modellen getraind op dezelfde data als de evaluatieset clusteren sterker in de PMI-ruimte.

Bijdragen

1. Conditioneel Raamwerk: Een nieuw framework voor modelkaarten gebaseerd op conditionele log-likelihood vectoren, waarbij afstanden direct corresponderen met de KL-divergentie van conditionele verdelingen.
2. Prompt Shift Analyse: Het aantonen dat prompt-modificaties leiden tot systematische, voorspelbare verschuivingen in de modelruimte, met een aangetoonde additieve compositionaliteit.
3. PMI-Vector Introductie: Een methode om de bijdrage van onvoorwaardelijke verdelingen te elimineren, wat leidt tot kaarten die training-data-specifieke verschillen scherper in beeld brengen.

Significantie en Toekomstperspectief

Dit werk biedt een krachtig, deterministisch alternatief voor het vergelijken van LLMs dat niet afhankelijk is van de variabiliteit van gegenereerde tekst. Het stelt onderzoekers in staat om:

• Modellen te selecteren en te analyseren op basis van hun conditionele gedrag.
• Het effect van prompt-engineering (zoals CoT of herhaling) kwantitatief te voorspellen zonder nieuwe generaties te hoeven uitvoeren.
• De invloed van trainingsdata op het conditionele gedrag van modellen te visualiseren.

Beperkingen: De studie focust op open modellen en instructie-georiënteerde datasets. De validatie van de PMI-maatstaven en de generalisatie naar niet-instructie taken, code-generatie of meertalige data blijven open vragen. Daarnaast zijn de visualisaties beperkt door projecties (t-SNE/PCA) die de volledige hoge-dimensionale geometrie niet perfect behouden.