Compact Example-Based Explanations for Language Models

1. Problématique

Les méthodes d'estimation de l'influence des données d'entraînement (comme les fonctions d'influence) visent à quantifier la contribution de documents individuels aux prédictions d'un modèle. Ces estimations sont prometteuses pour générer des explications basées sur des exemples. Cependant, un défi majeur subsiste : les humains ne peuvent pas interpréter des milliers de documents. Il est donc nécessaire de sélectionner un petit sous-ensemble de données d'entraînement pour servir d'explication.

Le problème central identifié par les auteurs est que les stratégies de sélection actuelles sont souvent inefficaces. Les approches naïves, qui choisissent simplement les $k$ exemples ayant les scores d'influence les plus élevés, présentent deux défauts majeurs :

1. Outliers globaux : Les exemples les plus influents sont souvent des outliers globaux (exemples mal étiquetés ou aberrants) qui ne sont pas nécessairement les plus pertinents localement pour l'instance de test spécifique.
2. Redondance : Les exemples les mieux classés contiennent souvent des informations redondantes, offrant peu de valeur ajoutée à l'utilisateur.

De plus, les évaluations existantes se concentrent soit sur la justesse des estimations brutes, soit sur l'utilité globale du système via des études utilisateurs, négligeant souvent la qualité intrinsèque de la logique de sélection elle-même.

2. Méthodologie

Les auteurs proposent une nouvelle approche pour évaluer et améliorer la sélection d'exemples sans nécessiter de réentraînement coûteux du modèle.

A. Le Score de Pertinence de Sélection (Selection Relevance Score - $\xi_{SR}$)

L'innovation principale est une métrique sans réentraînement qui évalue la qualité d'un ensemble d'exemples sélectionnés.

• Concept : La sélection est traitée comme une tâche de reconstruction de gradient. L'idée est que les exemples sélectionnés doivent pouvoir reconstruire le gradient de perte de l'instance de test ($\nabla L'$) par une combinaison linéaire de leurs propres gradients.
• Formulation : Soit $A$ la matrice des gradients des $k$ exemples sélectionnés. On cherche à approximer $\nabla L' \approx A t$, où $t$ sont des coefficients appris.
• Métrique : Le score $\xi_{SR}$ est défini comme le rapport entre le carré de la norme du gradient attendu et le carré de l'erreur de reconstruction attendue (exprimé en décibels).
  $$\xi_{SR} = \frac{E[\|G(\omega)\|^2]}{E[\|G(\omega) - A t_\omega\|^2]}$$
• Contraintes : Les coefficients $t$ sont contraints à être non-négatifs et à sommer à 1, ce qui permet d'interpréter $t$ comme une importance relative et d'éviter les annulations entre exemples non pertinents.
• Interprétation : Un score > 0 dB indique que les exemples apportent une information non redondante et pertinente. Un score < 0 dB signifie que la sélection est pire qu'une ligne de base triviale (zéro).

B. Validation par Fine-Tuning

Pour valider ce score, les auteurs le comparent à deux métriques basées sur le fine-tuning (qui servent de "vérité terrain" approximative) :

1. Support de prédiction ($\xi_+$) : Mesure si le fine-tuning sur les exemples sélectionnés augmente la vraisemblance de la prédiction originale.
2. Décalage de prédiction ($\xi_{JSD}$) : Mesure la divergence Jensen-Shannon entre la distribution originale et celle après fine-tuning.

C. Stratégies de Sélection

Les auteurs évaluent plusieurs stratégies :

• Naïve : Sélection des exemples les plus influents, les plus nuisibles, les plus utiles, ou aléatoire.
• Diversité (DIVINE, AIDE) : Tentative d'optimiser la diversité des exemples.
• Nouvelle Stratégie (Facility Location) : Une approche basée sur la localisation des installations qui optimise un compromis entre la couverture (diversité des gradients) et le coût (score d'influence). Un paramètre $\lambda$ contrôle ce compromis.

3. Résultats Clés

Les expériences ont été menées sur plusieurs modèles (OLMo2, Llama 3.2, Qwen 2.5) et estimateurs d'influence (DataInf, LESS, BM25).

• Échec des stratégies naïves : Pour les estimateurs basés sur le gradient (DataInf, LESS), la sélection des exemples "les plus influents" (ceux avec les scores absolus les plus élevés) obtient systématiquement des scores de pertinence inférieurs à 0 dB, ce qui signifie qu'ils sont moins pertinents qu'une sélection aléatoire.
• Le paradoxe des "moins influents" : Curieusement, les stratégies qui sélectionnent les exemples les moins influents (ceux ayant le plus petit impact sur les paramètres) obtiennent les meilleurs scores de pertinence.
  • Explication : Ces exemples sont souvent redondants ou prototypiques. Leur suppression ne modifie pas significativement le modèle, ce qui signifie qu'ils sont représentatifs de la dynamique d'entraînement et donc pertinents pour expliquer la prédiction sans la déstabiliser. À l'inverse, les outliers (très influents) peuvent dévier le modèle de sa prédiction originale.
• Supériorité de la stratégie Facility Location : La nouvelle stratégie proposée, qui équilibre influence et couverture, améliore significativement les scores de pertinence par rapport aux méthodes naïves et aux méthodes de diversité pures (DIVINE/AIDE), en particulier pour les budgets de sélection faibles ($k=5, 10$).
• Corrélation avec le Fine-Tuning : Le score $\xi_{SR}$ corrèle faiblement avec les métriques de fine-tuning sur l'ensemble des données, mais cette corrélation devient forte (jusqu'à 0.58) pour les sélections ayant un score $\xi_{SR} > 0$ dB. Cela confirme que le score est un bon indicateur pour prédire si une sélection soutiendra la prédiction originale lors d'un réentraînement.

4. Contributions Principales

1. Score de Pertinence de Sélection ($\xi_{SR}$) : Une métrique nouvelle, sans réentraînement, qui évalue la qualité d'un ensemble d'exemples pour l'explication en mesurant leur capacité à reconstruire le gradient de l'instance de test.
2. Benchmark et Analyse : Une évaluation approfondie de 3 méthodes d'estimation d'influence et 4 stratégies de sélection, révélant que les stratégies naïves courantes (choisir les plus influents) sont souvent contre-productives pour les explications.
3. Nouvelle Stratégie de Sélection : Introduction d'une méthode basée sur la localisation des installations qui maximise la couverture et la représentativité, surpassant les approches naïves et les méthodes de diversité existantes.

5. Signification et Conclusion

Ce travail déplace le focus de l'évaluation des explications des modèles de langage : il ne s'agit plus seulement de la justesse de l'estimation d'influence, mais de comment les exemples sont sélectionnés à partir de ces estimations.

Les auteurs démontrent que pour fournir des explications fidèles et informatives à un humain, il est souvent préférable de choisir des exemples représentatifs et redondants (les moins influents) plutôt que des outliers globaux. La stratégie proposée permet de mieux exploiter les petits budgets de sélection (quelques exemples) pour maximiser la pertinence.

Limites et perspectives : L'étude se concentre sur des modèles de taille modeste (0.5-1B) et des données d'instruction. Les auteurs notent que les estimateurs basés sur le gradient ont globalement de faibles performances, suggérant que la nature des données d'entraînement (peu de redondance de caractéristiques) ou les effets de saturation pourraient limiter l'influence détectable. De futures travaux devraient explorer d'autres paradigmes d'estimation et des définitions alternatives de l'explication (ex: exemples contraires).

En résumé, l'article fournit un cadre rigoureux pour évaluer et améliorer la sélection d'exemples, soulignant que la pertinence locale et la couverture sont plus critiques que la magnitude brute de l'influence pour des explications compréhensibles par l'humain.