A mathematical framework for parameter recovery in large language models via a joint Euclidean mirror

Titel

Een wiskundig kader voor parameterherstel in grote taalmodellen via een gezamenlijk Euclidisch spiegelvlak.

1. Probleemstelling

Grote taalmodellen (LLMs) functioneren vaak als "black boxes" met een groot aantal niet-geobserveerde afstemparameters (zoals temperatuur, logit-bias, of trainingdata-kenmerken). Het is een uitdaging om precies te analyseren hoe deze parameters de output van het model beïnvloeden en hoe verschillende modellen met elkaar vergeleken kunnen worden, vooral omdat de interne gewichten vaak gesloten zijn.
De auteurs stellen de volgende vragen:

• Hoe kunnen we de responsen van LLMs kwantificeren als functie van hun afstemparameters?
• Is het mogelijk om de onderliggende generatieve parameters (bijv. temperatuur) te herleiden uit de responsen van een model, zelfs als deze labels ontbreken?
• Hoe kunnen we een wiskundig gestructureerde ruimte creëren die de verschillen tussen responsverdelingen weergeeft?

2. Methodologie

Het paper introduceert een raamwerk dat de mapping van modelparameters naar responsverdelingen behandelt als een gestructureerde familie van kansverdelingen, voorzien van een meetkunde via een dissimilariteitsmaat.

A. Gezamenlijk Euclidisch Spiegelvlak (Joint Euclidean Mirror)

De kern van de methode is het concept van een "Euclidisch spiegelvlak". Dit is een continue functie $f: X \to \mathbb{R}^c$ die een parameter ruimte $X$ (bijv. temperatuur en bias) afbeeldt op een laag-dimensionale Euclidische ruimte $\mathbb{R}^c$.

• Definitie: De functie $f$ is een spiegel als de Euclidische afstand tussen twee punten in de afbeeldingsruimte exact overeenkomt met de dissimilariteit (afstand) tussen de bijbehorende responsverdelingen $F_x$ en $F_{x'}$ in de oorspronkelijke ruimte.
• Vereiste: Er wordt aangenomen dat het paar van verdelingen en afstandsmetriek $(F, D)$ "exact Euclidisch $c$-realiseerbaar" is. Dit betekent dat er een isometrische equivalentie bestaat tussen de ruimte van verdelingen en een deelruimte van $\mathbb{R}^c$.

B. Schattingsprocedure (Algorithm 1)

Om dit spiegelvlak te schatten op basis van steekproeven, wordt een drie-staps procedure voorgesteld:

1. Schatten van de afstandsmatrix: Voor een set van $m$ bekende parameters worden $n$ onafhankelijke steekproeven genomen. De empirische verdelingen worden berekend en de paarsgewijze afstanden worden geschat, vaak met behulp van de Wasserstein-afstand (die zowel locatie als spreiding en vorm van verdelingen vastlegt). Dit resulteert in een empirische afstandsmatrix $\hat{\Delta}$.
2. Multidimensionale Schaling (CMDS): Klassieke Multidimensionale Schaling (CMDS) wordt toegepast op $\hat{\Delta}$ om de punten in de laag-dimensionale ruimte $\mathbb{R}^c$ te plaatsen. Dit geeft schattingen van de spiegelwaarden $\tilde{f}(x_i)$ voor de geobserveerde parameters.
3. Oppervlaktefitting: Om een continue functie $\hat{f}$ voor de hele parameter ruimte te krijgen, worden de geschatte punten geïnterpoleerd. De auteurs gebruiken Delaunay-triangulatie voor lineaire interpolatie, maar andere methoden (zoals B-splines) zijn ook mogelijk.

C. Parameterherstel (Algorithm 2)

Voor het herstel van onbekende parameters (bijv. bij een nieuwe, ongelabelde respons):

1. Bereken de afstand van de nieuwe responsverdeling tot de bekende verdelingen.
2. Pas CMDS toe op de uitgebreide matrix (inclusief de nieuwe steekproef) om een punt $\hat{f}^*$ in de spiegelruimte te krijgen.
3. Zoek de parameter $\hat{x}$ die de afstand tussen de geschatte spiegel $\hat{f}(s)$ en het nieuwe punt $\hat{f}^*$ minimaliseert:
   $$\hat{x} = \arg \min_{s \in X} \| \hat{f}(s) - \hat{f}^* \|$$

3. Belangrijkste Bijdragen

• Formalisatie: Het is het eerste werk dat het probleem van het herleiden van latente generatieve parameters uit LLM-responsen formaliseert binnen een zuiver wiskundig kader.
• Gezamenlijke Spiegelmethode: De introductie van het "joint Euclidean mirror" dat de geometrie van de ruimte van kansverdelingen koppelt aan de parameter ruimte.
• Asymptotischeconsistentie: De auteurs bewijzen theoretisch dat de geschatte spiegel convergeert naar de ware spiegel en dat de parameterherstelschattingen consistent zijn (convergeren naar de ware waarde) wanneer zowel het aantal parameters ($m$) als het aantal steekproeven per parameter ($n$) toenemen.
• Flexibiliteit: De methode is niet beperkt tot specifieke afstandsmaten (hoewel Wasserstein wordt aanbevolen) of specifieke LLM-architecturen.

4. Resultaten

De methode is getest op zowel gesimuleerde data als echte LLM-data.

• Gesimuleerde Data:
  • Bij normale verdelingen met bekende parameters werd aangetoond dat de geschatte spiegeloppervlakken convergeren naar de ware structuur naarmate $n$ en $m$ toenemen.
  • Parameterherstel toonde "near-perfect recovery" aan bij grote steekproefgroottes, wat de theorie ondersteunt.
• LLM-toepassing (ChatGPT):
  • Setup: Responsen werden gegenereerd met variërende waarden voor temperatuur (randomness) en een gewichtsprompt (eugenetica-gerelateerde tekst).
  • Structuur: De analyse toonde aan dat de afstandsmatrix exact Euclidisch realiseerbaar was met een lage dimensie ($c=5$).
  • Visualisatie: De geschatte spiegel onthulde dat temperatuur en prompt-gewicht verschillende, bijna orthogonale richtingen in de embedding-ruimte beïnvloeden. Temperatuur had een groter effect in het midden van het bereik (0.4-0.6) dan aan de uitersten.
  • Parameterherstel: Bij een "leave-one-out" validatie kon het model de temperatuur en het gewicht van onbekende responsen redelijk nauwkeurig voorspellen op basis van de positie in het geschatte spiegelvlak.

5. Significantie en Toepassingen

Deze research biedt een krachtig instrument voor de interpretatie en analyse van LLMs:

• Interpretatie van "Black Boxes": Het maakt het mogelijk om te begrijpen hoe specifieke parameters de output veranderen zonder toegang tot de interne gewichten.
• Parameterherstel: Het kan worden gebruikt om te achterhalen met welke instellingen een bepaalde tekst is gegenereerd (bijv. detectie van ongepaste trainingdata of het identificeren van de "stem" van een model).
• Modelvergelijking: Het biedt een gestructureerde manier om verschillende modellen of verschillende configuraties van hetzelfde model met elkaar te vergelijken op basis van hun responsverdelingen.
• Voorspelling: Het kader stelt onderzoekers in staat om responsen te voorspellen voor nieuwe parameterwaarden die nog niet zijn getest.

Kortom, het paper levert een wiskundig onderbouwde, statistisch consistente methode om de complexe, niet-lineaire relatie tussen afstemparameters en de output van grote taalmodellen te visualiseren, te analyseren en te invertteren.