Compact Example-Based Explanations for Language Models

Titel: Compacte Voorbeeldgebaseerde Verklaringen voor Taalmodellen

Auteurs: Loris Schoenegger en Benjamin Roth (Universiteit van Wenen)

1. Het Probleem

Methoden voor het schatten van de invloed van trainingsdata (zoals Influence Functions) kwantificeren hoe individuele trainingsdocumenten bijdragen aan de output van een model. Hoewel deze schattingen veelbelovend zijn voor het genereren van voorbeeldgebaseerde verklaringen (waarbij het model verwijst naar specifieke trainingsvoorbeelden die zijn voorspelling ondersteunen), zijn ze niet direct bruikbaar als verklaring voor mensen.

De kernproblemen zijn:

• Schalingsprobleem: Mensen kunnen geen duizenden documenten verwerken; er moet een klein, selectief subset worden gepresenteerd.
• Selectiestrategie: Bestaande systemen gebruiken vaak naïeve strategieën, zoals het kiezen van de $k$ meest invloedrijke voorbeelden op basis van de schatting. Dit is problematisch omdat:
  1. De meest invloedrijke voorbeelden vaak globale outliers zijn die niet per se relevant zijn voor de specifieke testinstance.
  2. Deze voorbeelden vaak redundante informatie bevatten, wat leidt tot afnemende meerwaarde voor de gebruiker.
• Gebrek aan evaluatie: Bestaande evaluaties focussen op de nauwkeurigheid van de invloedsschatting zelf of op gebruikersstudies, maar negeren vaak de kwaliteit van de selectielogica zelf. Er ontbreekt een methode om te bepalen of een gekozen set voorbeelden daadwerkelijk nuttig is voor een verklaring zonder kostbare hertraining.

2. Methodologie

De auteurs introduceren een nieuwe, hertrainingsvrije evaluatiemethode en een nieuwe selectiestrategie.

A. De "Selection Relevance Score" ($\xi_{SR}$)

In plaats van te kijken naar individuele voorbeelden, evalueren ze de relevantie van een set geselecteerde voorbeelden.

• Concept: Ze behandelen het selecteren van voorbeelden als een gradiënt-reconstructie-taak.
• Implementatie: Ze proberen de verliesgradiënt ($\nabla L'$) van een testinstance te reconstrueren als een lineaire combinatie van de gradiënten van de $k$ geselecteerde trainingsvoorbeelden.
  • Formule: $\hat{\nabla}L' = A t$, waarbij $A$ de matrix is van de gradiënten van de geselecteerde voorbeelden en $t$ een vector van coëfficiënten is.
• Score: De score $\xi_{SR}$ is de verhouding tussen de verwachte kwadratische gradiëntnorm en de verwachte kwadratische reconstructiefout.
  • Een score boven 0 dB ($\xi_{SR} > 1$) geeft aan dat de geselecteerde voorbeelden niet-redundante, informatieve informatie bevatten die de testgradiënt goed kan verklaren.
  • Een score onder 0 dB betekent dat de selectie slechter presteert dan een triviaal nulpunt-baseline.
• Beperkingen: De coëfficiënten $t$ worden geconstrueerd om niet-negatief te zijn en op te tellen tot 1, wat zorgt voor een interpretatie van relatieve belangrijkheid binnen de set.

B. Validatie via Fine-tuning

Om de $\xi_{SR}$-score te valideren, voeren ze fine-tuning-experimenten uit:

1. Voorspellingondersteuning ($\xi_+$): Ze fine-tunen het model één stap op de geselecteerde set en meten of de waarschijnlijkheid van de oorspronkelijke output toeneemt.
2. Voorspellingverschuiving ($\xi_{JSD}$): Ze meten de Jensen-Shannon-divergentie om te zien of de set de voorspelling van het model verandert in vergelijking met een willekeurige set.
   De correlatie tussen de $\xi_{SR}$-score en deze fine-tuning-metrics wordt gebruikt om de geldigheid van de score te bevestigen.

C. Nieuwe Selectiestrategie: Facility Location

De auteurs stellen een strategie voor die invloed en representativiteit (dekking) balanciert.

• Ze formuleren het probleem als een Facility Location probleem (een submodulair optimalisatieprobleem).
• Ze introduceren een parameter $\lambda$ die de weging bepaalt tussen het maximaliseren van de dekking (diversiteit) en het minimaliseren van de "kosten" (waarbij hoge invloed lage kosten betekent).
• Dit voorkomt dat alleen de meest invloedrijke (en vaak redundante) voorbeelden worden geselecteerd.

3. Belangrijkste Resultaten

De auteurs hebben 3 invloedsschatting-methoden (DataInf, LESS, BM25) en 4 selectiestrategieën geëvalueerd op modellen van 0,5B tot 1B parameters.

• Naïeve selectie faalt: Het selecteren van de "meest invloedrijke" voorbeelden (naïef top-k) presteert vaak slechter dan willekeurige selectie. De $\xi_{SR}$-scores voor deze strategieën liggen vaak onder de 0 dB, wat aangeeft dat ze de testgradiënt slecht reconstrueren.
• De "Least Influential" paradox: Opvallend genoeg presteren strategieën die de minst invloedrijke voorbeelden selecteren (degenen met de kleinste absolute invloedsscores) vaak het beste.
  • Redenering: Deze voorbeelden zijn vaak prototypisch en redundant. Het verwijderen ervan heeft weinig effect op het model, wat betekent dat ze de trainingsdynamiek goed vertegenwoordigen zonder het model te laten afwijken van de oorspronkelijke voorspelling. Dit is ideaal voor verklaringen die de voorspelling ondersteunen.
• Effectiviteit van de nieuwe strategie: De voorgestelde Facility Location-strategie (met $\lambda > 0$) verbetert de dekking en de $\xi_{SR}$-score aanzienlijk ten opzichte van naïeve selectie, vooral bij gradient-based estimators (DataInf, LESS).
• Validatie: Er is een sterke correlatie gevonden tussen hoge $\xi_{SR}$-scores (> 0 dB) en succesvolle fine-tuning (waarbij de oorspronkelijke voorspelling wordt versterkt). Dit bevestigt dat de score een betrouwbare indicator is voor de kwaliteit van de selectie.

4. Bijdragen

1. Selection Relevance Score: Een nieuwe, hertrainingsvrije metriek om de kwaliteit van een set trainingsvoorbeelden voor verklaringen te evalueren, gebaseerd op gradiënt-reconstructie.
2. Benchmark: Een uitgebreide evaluatie van combinaties van invloedsschatting en selectiestrategieën, die laat zien dat naïeve strategieën vaak inefficiënt zijn.
3. Nieuwe Strategie: Een selectiemethode die invloed en diversiteit balanciert, waardoor een beter gebruik wordt gemaakt van het beperkte "budget" aan voorbeelden dat aan gebruikers kan worden getoond.

5. Betekenis en Conclusie

Dit paper benadrukt dat de kwaliteit van een voorbeeldgebaseerde verklaring niet alleen afhangt van de nauwkeurigheid van de invloedsschatting, maar vooral van de selectiestrategie.

• Verschuiving in focus: Het is niet nodig om de "meest invloedrijke" voorbeelden te vinden voor een goede verklaring; vaak zijn de meest representatieve (en soms minder invloedrijke) voorbeelden beter.
• Praktische toepassing: De voorgestelde score biedt een efficiënte manier om selectielogica te testen zonder de dure hertraining van grote taalmodellen.
• Toekomst: De auteurs waarschuwen dat een hoge relevantie-score alleen een noodzakelijke maar geen voldoende voorwaarde is voor een eerlijke (faithful) verklaring, maar het is een cruciale stap om de bruikbaarheid van deze systemen voor mensen te verbeteren.

Kortom, de studie toont aan dat het slim selecteren van een diverse, representatieve set voorbeelden (via Facility Location) veel effectiever is voor menselijke interpretatie dan het simpelweg kiezen van de statistisch meest invloedrijke data-punten.