Résumé Technique : S2R2 – Une Vue au Niveau des Segments de la Robustesse dans les Modèles de Langage Ajustés par LoRA

1. Énoncé du Problème

Les Grands Modèles de Langage (LLM) présentent une sensibilité significative à de légères perturbations des invites, telles que des erreurs de frappe, des suppressions de mots, des remplacements de synonymes ou des reformulations. Bien que les méthodes de robustesse existantes imposent souvent une cohérence au niveau de la séquence entière (par exemple, en minimisant la divergence de Kullback-Leibler entre les sorties propres et perturbées), cette approche holistique présente une limitation critique : elle peut masquer des échecs locaux. Une réponse perturbée peut rester globalement similaire à la sortie propre tout en dérivant sur un segment sémantique critique, tel qu'une entité spécifique, une valeur numérique, une relation causale ou une conclusion.

De plus, les méthodes actuelles manquent souvent d'une interprétation côté mécanisme expliquant pourquoi ces dérives se produisent. Les perturbations peuvent modifier la façon dont un modèle réalloue l'attention sur les preuves sources lors de la génération, mais cela est rarement explicitement régularisé. L'article soutient que la robustesse doit être analysée à travers la dérive sémantique locale plutôt que par la seule cohérence de la séquence globale, et que le contrôle du processus d'adaptation (spécifiquement dans l'Adaptation à Faible Rang, ou LoRA) est essentiel pour prévenir les déplacements de preuves amplifiés par les perturbations.

2. Méthodologie : S2R2

Les auteurs proposent S2R2 (Régularisation de la Robustesse des Segments Sémantiques), un cadre d'ajustement fin robuste pour les LLM adaptés par LoRA. Le cadre se compose de deux composants couplés : un objectif d'alignement sémantique côté sortie et un régularisateur de stabilité de l'adaptateur côté mécanisme.

2.1 Décomposition et Alignement au Niveau des Segments

Au lieu de traiter la sortie comme une séquence unique, S2R2 décompose les générations propres ($y$) et perturbées ($y'$) en segments sémantiques ($G(y)$ et $G(y')$).

• Représentation des Segments : Les segments sont représentés par la moyenne de leurs états cachés au niveau des tokens.
• Alignement par Transport Optimal : Pour gérer les variations dans l'ordre ou la granularité des segments, la méthode aligne les deux ensembles de segments en utilisant un plan de transport optimal ($T^*$). Le coût entre les segments est défini par $1 - \cos(e_u, e'_v)$.
• Pénalisation de la Dérive Pire : La perte de robustesse sémantique ($\mathcal{L}_{sem}$) est conçue pour pénaliser les segments présentant la plus grande dérive de sens. Elle combine la dérive moyenne avec un terme de maximum lissé (contrôlé par $\beta$) pour concentrer l'optimisation sur les segments de « pire dérive » :
  $$\mathcal{L}_{sem} = \frac{1}{U} \sum_{u} d_u + \frac{1}{\beta} \log \sum_{u} \exp(\beta d_u)$$
  où $d_u$ est la dérive du segment $u$.

2.2 Régularisateur de Stabilité de l'Adaptateur

Pour relier la dérive de sortie à l'adaptation du modèle, les auteurs introduisent un régularisateur ($\mathcal{L}_{stab}$) qui contrôle la croissance des mises à jour LoRA dans les projections d'attention (spécifiquement les matrices Query et Key).

• Mécanisme : Le régularisateur est défini comme la somme des produits des normes de Frobenius des matrices de facteurs LoRA ($A$ et $B$) à travers les couches :
  $$\mathcal{L}_{stab} = \sum_{\ell} \sum_{\ast \in \{Q,K\}} \|B^\ell_\ast\|_F \|A^\ell_\ast\|_F$$
• Raison d'être : Ce terme sert de proxy traitable pour limiter la réallocation d'attention amplifiée par les perturbations. De grandes mises à jour LoRA peuvent amplifier l'effet des perturbations d'entrée sur les scores d'attention, conduisant à une allocation de preuves instable. En contraignant ces normes, la méthode décourage le modèle de s'appuyer sur un mouvement excessif des paramètres pour s'adapter aux exemples perturbés.

2.3 Interprétation de la Complexité (Vue PAC-Bayésienne)

L'article interprète le terme de stabilité de l'adaptateur à travers une lentille de complexité PAC-Bayésienne.

• Prior/Postérieur : Le modèle pré-entraîné figé est considéré comme le centre du prior ($P$), et les paramètres LoRA définissent une distribution postérieure ($Q$).
• Contrôle de la Complexité : Contrôler les normes LoRA est interprété comme limitant la complexité de l'hypothèse adaptée par rapport au prior. Cela suggère que la robustesse est obtenue en préservant l'espace d'hypothèses pré-entraîné tout en stabilisant les segments sémantiques critiques, plutôt qu'en surajustant à des motifs de perturbation spécifiques.

2.4 Objectif Final

L'objectif d'entraînement total combine la perte d'entropie croisée standard ($\mathcal{L}_{CE}$), la perte de segment sémantique et le terme de stabilité de l'adaptateur :
$$\mathcal{L}_{S2R2} = \mathcal{L}_{CE} + \lambda_{sem}\mathcal{L}_{sem} + \lambda_{stab}\mathcal{L}_{stab}$$

3. Contributions Clés

1. Vue de la Robustesse au Niveau des Segments : L'article propose d'analyser les échecs de robustesse des invites à travers la dérive sémantique locale plutôt que la cohérence de la séquence entière, soutenant que les métriques globales peuvent masquer des échecs locaux critiques.
2. Cadre S2R2 : Introduction d'un cadre d'ajustement fin LoRA robuste qui aligne les générations propres et perturbées au niveau des segments sémantiques et pénalise explicitement les segments de pire dérive.
3. Lien Stabilité de l'Adaptateur : Une connexion novatrice entre la robustesse au niveau des segments et la stabilité de l'adaptateur, interprétant le contrôle des normes LoRA comme un proxy traitable pour limiter la réallocation d'attention amplifiée par les perturbations et comme un régularisateur de complexité PAC-Bayésien.
4. Validation Empirique : Évaluation complète sur des benchmarks de résumé démontrant une robustesse améliorée et un transfert inter-ensembles de données par rapport aux bases de référence fondées sur la cohérence.

4. Résultats Expérimentaux

Les auteurs ont évalué S2R2 sur des tâches de résumé (CNN/DailyMail, XSum, PubMed) en utilisant des modèles tels que BART-base, Flan-T5-base et Mistral-7B-Instruct-v0.2. Les perturbations comprenaient du bruit de frappe, des suppressions, des remplacements de synonymes et des reformulations.

• Performance de Robustesse : S2R2 a considérablement réduit le Taux de Chute de Performance (PDR) sous perturbations. Par exemple, sur CNN/DailyMail avec BART-base, S2R2 a atteint un PDR de 0,0012, soit une réduction de 81 % par rapport à la base de référence SMART.
• Stabilité Sémantique : La méthode a maintenu une cohérence sémantique compétitive (mesurée par Self-BERTScore) tout en réduisant l'instabilité de la forme de surface (Taux de Modification de la Sortie).
• Complexité et Généralisation : Crucialement, S2R2 a obtenu ces résultats avec un terme de complexité LoRA (DKL) beaucoup plus faible que les bases de référence. Cela suggère que S2R2 ne repose pas sur de grands mouvements d'adaptateur pour s'adapter aux perturbations.
• Transfert Inter-Ensembles de Données : Dans les évaluations zero-shot (par exemple, ajusté finement sur CNN/DailyMail, testé sur PubMed), S2R2 a démontré une transférabilité plus forte que les bases de référence, atteignant un risque empirique plus faible et des scores ajustés à la complexité. Cela indique que la préservation des segments sémantiques de pire dérive soutient le transfert de robustesse au-delà des perturbations observées.

5. Signification et Revendications

L'article revendique que S2R2 offre une approche plus ciblée de la robustesse en s'attaquant à la vulnérabilité non uniforme des sorties de langage. Sa signification principale réside dans :

• Changement de Focalisation : Le passage de la cohérence de séquence holistique à la préservation sémantique au niveau des segments, ce qui capture mieux les échecs critiques dans les tâches de génération.
• Régularisation Côté Mécanisme : Fournir une manière traitable de contrôler la réallocation d'attention via des contraintes de normes LoRA, reliant la stabilité de la sortie à l'adaptation interne du modèle.
• Généralisation : Démontrer que le contrôle de la croissance de l'adaptateur (complexité) parallèlement à l'alignement sémantique conduit à une meilleure généralisation sur des ensembles de données et des types de perturbations non vus.

Les auteurs adoptent une stance modeste, notant que l'interprétation PAC-Bayésienne est une « explication orientée généralisation » plutôt qu'une garantie certifiée, et que la réallocation d'attention est un « proxy diagnostique » plutôt qu'une explication causale complète du comportement de génération. Un travail futur est proposé pour étendre le cadre avec des diagnostics d'attention directs et des ablations supplémentaires.