Résumé Technique : Sur l'Approche de Fine-Tuning par Perte Sémantique pour Prévenir l'Effondrement du Modèle dans le Raisonnement Causal

1. Définition du Problème : Effondrement Catastrophique du Modèle

L'article identifie un mode de défaillance critique, précédemment non documenté, dans le fine-tuning des modèles transformateurs pour des tâches de raisonnement causal. Le fine-tuning standard sur des tâches telles que la transitivité et la d-séparation conduit à un effondrement catastrophique du modèle avec un taux d'occurrence de 100 % lors de l'utilisation exclusive de la perte d'entropie croisée standard.

Caractéristiques de l'Effondrement :

• Distribution de Prédiction Dégénérée : La distribution de prédiction du modèle $P(y|x)$ devient indépendante de la structure du graphe d'entrée $x$. Au lieu de raisonner, le modèle converge vers des sorties fixes (prédisant toujours « Oui » ou toujours « Non »).
• Précision Trompeuse : Les modèles effondrés peuvent atteindre une précision déceptivement élevée (par exemple, 73,9 % sur la d-séparation) simplement en exploitant les biais de distribution des étiquettes dans l'ensemble de test (par exemple, la prévalence des étiquettes « Non »), malgré l'absence d'apprentissage du raisonnement causal.
• Divergence des Métriques : Bien que la précision semble élevée, les scores F1 s'effondrent vers zéro (par exemple, 7,6 %), et les métriques de précision/rappel révèlent un biais extrême.
• Portée : Ce phénomène a été observé à la fois sur les tâches de transitivité et de d-séparation en utilisant des modèles Gemma 270M, rendant les approches de fine-tuning standard fondamentalement peu fiables pour ces domaines de raisonnement spécifiques.

2. Méthodologie : Perte Sémantique avec Ordonnancement Dynamique

Pour prévenir l'effondrement, les auteurs proposent un cadre de Perte Sémantique qui intègre directement des contraintes logiques basées sur le graphe dans l'objectif d'entraînement, couplé à un mécanisme de pondération dynamique.

2.1 Fonction de Perte Sémantique

La fonction de perte totale $L_{total}$ combine l'entropie croisée standard ($L_{CE}$) avec un terme de cohérence sémantique ($L_{semantic}$) :
$$L_{total} = L_{CE}(y, \hat{y}) + \lambda(t) \cdot L_{semantic}(p, h, \hat{y})$$

• Cohérence Basée sur le Graphe : La perte sémantique pénalise les prédictions qui violent les axiomes logiques du graphe causal.
  • Pour la Transitivité, si un chemin existe entre les nœuds $A$ et $B$ dans le graphe, le modèle est pénalisé pour ne pas prédire « Oui ».
  • Pour la D-Séparation, la perte impose que les nœuds soient prédits comme indépendants (« Non ») s'ils sont d-séparés par un ensemble de conditionnement $Z$, et dépendants (« Oui ») sinon.
• Implémentation : La perte est calculée comme le logarithme négatif de la vraisemblance du score de cohérence $c(p, h, \hat{y})$, qui est dérivé de la topologie du graphe et de la probabilité prédite par le modèle.

2.2 Ordonnancement Dynamique de Lambda

Un composant critique de la méthodologie est le facteur de pondération dépendant du temps $\lambda(t)$, qui planifie l'intensité de la contrainte sémantique :
$$\lambda(t) = \lambda_{start} + \frac{t}{T}(\lambda_{end} - \lambda_{start})$$

• Paramètres : $\lambda_{start} = 0,05$, $\lambda_{end} = 0,30$.
• Justification :
  • Début de l'Entraînement : Un $\lambda$ initial faible empêche l'interférence catastrophique entre le signal d'entropie croisée et les gradients sémantiques, permettant au modèle d'apprendre les mappings de base entrée-sortie.
  • Application Progressive : À mesure que l'entraînement progresse, l'intensité de la contrainte augmente, forçant le modèle à intégrer la logique structurelle.
  • Stabilité Finale : L'intensité finale est suffisante pour prévenir les solutions dégénérées tout en maintenant le flux de gradients.

2.3 Configuration Expérimentale

• Modèle de Base : Gemma 3 270M-IT (quantifié sur 4 bits).
• Fine-Tuning : LoRA (Rang 32, $\alpha$=32) ciblant les projections de requête et de valeur.
• Données : 50 000 exemples générés synthétiquement par tâche (transitivité et d-séparation) basés sur des méthodologies d'entraînement axiomatiques.
• Évaluation : Plus de 200 000 échantillons répartis sur cinq tests de généralisation (Longueur, Ramification, Inversé, Mélangé, Longs Noms) et une nouvelle suite de tests structurels adversariaux (1 000 échantillons).

3. Résultats Clés

3.1 Prévention de l'Effondrement

L'approche par perte sémantique a éliminé avec succès le taux d'effondrement de 100 % observé dans les références :

• Transitivité : La référence effondrée (V1) a atteint 27,7 % de précision avec 100 % de prédictions « Oui ». Le modèle Sémantique (V4) a atteint 70,4 % de précision avec des prédictions dépendantes du contexte.
• D-Séparation : La référence effondrée (V1) a atteint 73,9 % de précision mais avec un score F1 de 7,6 % (prédisant « Non » presque exclusivement). Le modèle Sémantique (V2) a atteint 68,6 % de précision avec un score F1 de 25,0 % et des prédictions équilibrées.
• Amélioration : L'approche a produit une amélioration moyenne de 42,7 % par rapport aux références effondrées.

3.2 Validation Adversariale

Une suite de tests adversariaux conçue pour distinguer la compréhension structurelle des heuristiques a confirmé la robustesse des modèles sémantiques :

• Modèles Effondrés : Ont continué à échouer de manière catastrophique (par exemple, la d-séparation V1 est tombée à 43 % de précision sur les ensembles adversariaux, en dessous du hasard pour des données équilibrées).
• Modèles Sémantiques : Ont maintenu une précision de 67 à 70 % avec des distributions de prédiction équilibrées, démontrant un raisonnement structurel authentique plutôt qu'un simple appariement de motifs superficiel.
• Généralisation : Les modèles sémantiques ont montré des gains significatifs sur des tâches complexes, tels qu'une amélioration de 95,9 % sur les tâches de ramification par rapport aux références effondrées.

3.3 Ablation et Itération

Le développement itératif (Tableau 5) a montré que :

• Un $\lambda$ fixe faible (0,05) a entraîné un effondrement.
• Un $\lambda$ fixe modéré (0,1) était stable mais a échoué sur des structures de ramification complexes.
• L'ordonnancement dynamique était essentiel pour atteindre des performances optimales sur toutes les difficultés de tâche.

4. Signification et Revendications

L'article affirme que la perte sémantique est essentielle, et non optionnelle, pour un raisonnement causal stable dans les transformateurs.

• Diagnostic d'un Défaut Fondamental : Le travail fournit la première documentation systématique de l'effondrement catastrophique du modèle dans le fine-tuning du raisonnement causal, démontrant que la perte d'entropie croisée standard est insuffisante pour des tâches nécessitant une adhérence structurelle.
• Nécessité de Métriques Complètes : Les auteurs soulignent que la précision seule est une métrique trompeuse pour le raisonnement causal. Ils soutiennent que les scores F1, la précision, le rappel et l'analyse de la distribution des prédictions sont obligatoires pour détecter l'effondrement.
• Impact Pratique : La méthode proposée transforme le fine-tuning du raisonnement causal d'un processus fondamentalement brisé (taux d'effondrement de 100 %) en un processus fiablement stable.
• Implications Plus Larges : Les résultats suggèrent que le fine-tuning sur des tâches de raisonnement complexes peut nécessiter des biais inductifs spécifiques à la tâche (comme la perte sémantique) au-delà des fonctions de perte standard. Les auteurs mettent en garde contre le fait que des phénomènes d'effondrement similaires peuvent exister dans d'autres tâches structurées (par exemple, le raisonnement mathématique, l'inférence logique) et devraient être surveillés.

L'article conclut que sans ces contraintes structurelles, les transformateurs échouent à apprendre les axiomes causaux, apprenant à la place des raccourcis statistiques triviaux qui imitent le raisonnement mais manquent de validité structurelle.