LZ Penalty: An information-theoretic repetition penalty for autoregressive language models

Dans le monde de l'intelligence artificielle, il existe une classe de programmes informatiques puissants connus sous le nom de modèles de langage. Ces systèmes sont entraînés pour prédire le mot suivant dans une phrase, ce qui leur permet d'écrire des histoires, de répondre à des questions et même de résoudre des problèmes mathématiques complexes en générant de longues chaînes de raisonnement. Pour effectuer ces prédictions, les modèles s'appuient sur un processus statistique où ils choisissent le mot suivant le plus probable parmi une vaste liste de possibilités. Cependant, un problème persistant a tourmenté ces systèmes, particulièrement lorsqu'on leur demande d'approfondir des tâches difficiles : ils se retrouvent parfois coincés dans une boucle. Au lieu d'avancer avec une nouvelle idée, le modèle commence à répéter les mêmes mots ou expressions encore et encore, dégradant sa production en un non-sens. Ce problème est connu sous le nom de répétition dégénérée, et il a constitué une barrière significative à l'utilisation de ces modèles pour des tâches déterministes et fiables où la sortie doit être cohérente et exempte d'erreurs.

Pendant des années, les ingénieurs ont tenté de corriger cela en appliquant de simples pénalités aux choix du modèle. Ces pénalités agissent comme un léger coup de pouce, décourageant le modèle de choisir des mots qu'il a déjà utilisés récemment. Une méthode compte le nombre de fois qu'un mot est apparu et réduit sa probabilité ; une autre pénalise simplement tout mot ayant déjà été utilisé. Bien que ces méthodes fonctionnent bien pour une conversation décontractée, elles échouent souvent lorsque le modèle est engagé dans un raisonnement profond. Les modèles de raisonnement, qui génèrent de très longues séquences de texte pour résoudre des énigmes logiques, tombent fréquemment dans des cycles répétitifs malgré ces correctifs standards. Le résultat est un système qui peut commencer avec force mais qui finit par s'effondrer dans une boucle de bégaiement de mots répétés, rendant la production inutile pour des applications sérieuses.

Depuis des années, une équipe de chercheurs de Salesforce AI Research a proposé une nouvelle solution qui s'inspire d'un domaine complètement différent : la compression de données. Leurs travaux introduisent une méthode appelée pénalité Lempel-Ziv, conçue pour stopper ces boucles répétitives sans sacrifier la capacité du modèle à réfléchir clairement. L'idée centrale repose sur un lien fondamental entre la prédiction du mot suivant dans une phrase et la compression d'un fichier de données. Dans le monde de l'informatique, les algorithmes de compression fonctionnent en trouvant des motifs et des répétitions dans les données pour réduire la taille des fichiers. Si une séquence de mots se répète souvent, un algorithme de compression peut la décrire très efficacement, en utilisant moins de bits d'information. Les chercheurs ont réalisé que s'ils pouvaient mesurer la facilité avec laquelle le flux de texte actuel du modèle pourrait être compressé, ils pourraient utiliser cette information pour guider le modèle loin des motifs répétitifs.

Les chercheurs ont développé un système qui simule un type spécifique d'algorithme de compression, connu sous le nom d'algorithme Lempel-Ziv, en temps réel pendant que le modèle génère du texte. Cet algorithme examine une fenêtre glissante de l'historique récent du texte, recherchant les correspondances les plus longues possibles de séquences de mots. Lorsqu'un modèle envisage un nouveau mot, le système calcule à quel point ce mot modifierait la taille totale du fichier compressé. Si le nouveau mot crée un motif redondant et long que l'algorithme de compression peut facilement encoder, le système applique une pénalité à ce mot, le rendant moins susceptible d'être choisi. Inversement, si le mot introduit des informations nouvelles et imprévisibles qui ne peuvent pas être facilement compressées, la pénalité est faible ou inexistante. Cette approche est distincte des méthodes précédentes car elle ne se contente pas de compter combien de fois un seul mot apparaît ; elle examine plutôt la longueur de la séquence répétée et la distance à laquelle cette séquence est survenue.

Pour tester cette nouvelle approche, les chercheurs l'ont appliquée à deux modèles de raisonnement avancés, l'un doté de 32 milliards de paramètres et l'autre de 14 milliards. Ils ont comparé les performances de leur nouvelle pénalité par rapport aux méthodes standards de l'industrie utilisées aujourd'hui. Les résultats furent frappants. En utilisant les pénalités de fréquence ou de répétition standard, les modèles tombaient encore dans des boucles de répétition dégénérée environ 4 % du temps, même lorsque les chercheurs tentaient d'ajuster les paramètres pour les prévenir. En revanche, la nouvelle pénalité Lempel-Ziv a réduit le taux de ces échecs répétitifs à pratiquement zéro. Les modèles ont pu générer de longues et complexes chaînes de raisonnement sans rester bloqués, et leur précision lors de tests de référence difficiles est restée inchangée. Cela suggère que la nouvelle méthode élimine avec succès la redondance qui cause les boucles sans interférer avec les véritables capacités de raisonnement du modèle.

Les chercheurs ont également examiné le coût computationnel de l'exécution de cette nouvelle pénalité. Comme le système doit simuler une étape de compression pour chaque mot généré, un travail supplémentaire est requis. Cependant, ils ont constaté que cette surcharge est étonnamment faible. Pour les grands modèles, le ralentissement de la vitesse était de moins de un pour cent, une différence si mineure qu'elle serait à peine perceptible dans une utilisation réelle. Cette efficacité rend la méthode pratique pour une adoption immédiate, offrant un moyen de rendre les modèles de raisonnement plus fiables sans exiger de nouvelles ressources de calcul importantes.

Une limitation notée par l'équipe est que la méthode est spécifiquement conçue pour le langage naturel. L'algorithme de compression repose sur l'hypothèse que le langage possède certaines propriétés statistiques, telles que le fait que les mots ont tendance à se répéter de manière prévisible au fil du temps. Bien que la méthode fonctionne exceptionnellement bien pour le texte, les chercheurs avertissent qu'elle pourrait ne pas être aussi efficace pour d'autres types de données, comme les images ou l'audio, sans ajustements spécifiques. De plus, le système n'est pas parfait pour tous les scénarios envisageables ; par exemple, si un utilisateur demande explicitement au modèle de répéter une lettre cent fois, la pénalité pourrait interférer avec cette instruction spécifique. Cependant, pour la grande majorité des tâches où l'objectif est un raisonnement cohérent et non répétitif, la nouvelle méthode semble être une solution robuste.

Les conclusions suggèrent un changement dans notre façon de concevoir le contrôle de l'intelligence artificielle. Plutôt que de s'appuyer sur des instruments grossiers qui se contentent d'interdire des mots basés sur leur nombre, cette approche utilise les principes mathématiques de la théorie de l'information pour comprendre la structure même du texte. En traitant la génération de texte comme un processus de compression, les chercheurs ont créé un outil qui filtre naturellement le bruit de la répétition tout en préservant le signal de la pensée. Cela permet aux modèles de raisonnement open-source d'opérer avec un niveau de déterminisme auparavant difficile à atteindre, ouvrant la voie à des applications plus fiables dans des domaines où la cohérence est primordiale. Ce travail démontre qu'en examinant le problème à travers le prisme de la compression de données, nous pouvons trouver des solutions élégantes aux bugs persistants qui ont longtemps entravé le progrès des modèles de langage.