Synthetic Rewriting as a Quality Multiplier: Evidence from Portuguese Continued Pretraining

Les grands modèles de langage sont les moteurs de nombreux systèmes d'intelligence artificielle les plus avancés d'aujourd'hui, capables de rédiger du texte, de répondre à des questions et de résoudre des problèmes avec une fluidité qui imite souvent la pensée humaine. Ces systèmes apprennent en lisant de vastes quantités de textes provenant d'Internet, absorbant les schémas d'utilisation des mots et la manière dont les idées sont connectées. Cependant, ce processus d'apprentissage n'est pas aussi efficace pour toutes les langues. Alors que l'anglais dispose d'une bibliothèque massive de textes de haute qualité disponibles pour l'entraînement, de nombreuses autres langues, comme le portugais, disposent de beaucoup moins de ressources. Pour combler ce fossé, les chercheurs prennent souvent un modèle entraîné principalement sur l'anglais et continuent de l'instruire en utilisant de plus petites quantités de texte dans la langue cible. Une question croissante dans le domaine est de savoir si nous pouvons rendre ces données limitées encore plus puissantes en utilisant l'intelligence artificielle pour les réécrire. L'idée est que si un ordinateur peut prendre une phrase désordonnée ou simple et la réécrire pour qu'elle soit plus claire, plus structurée ou plus détaillée, le modèle pourrait mieux apprendre de la version améliorée. Mais une incertitude cruciale demeure : cette technique de réécriture fonctionne-t-elle de la même manière sur un texte de mauvaise qualité, ou ne fait-elle qu'amplifier la valeur d'un texte qui était déjà bon au départ ?

Une équipe de chercheurs de l'Université de Campinas, au Brésil, s'est donné pour mission de répondre à cette question en menant une expérience contrôlée avec des modèles de langue portugaise. Ils ont commencé par une collection massive de documents portugais qui avaient déjà été évalués pour leur qualité, allant de faible à élevée selon la qualité de leur rédaction et l'utilité de leurs informations. À partir de cette collection, ils ont créé trois groupes de données distincts : un groupe contenant uniquement les documents de la plus haute qualité, un autre avec les documents de la plus basse qualité, et un troisième groupe qui était un mélange aléatoire de tout. Pour chacun de ces groupes, ils ont utilisé un modèle d'intelligence artificielle distinct pour réécrire le texte selon quatre styles différents, tels qu'une version simplifiée pour une lecture plus facile, un style encyclopédique formel, une version technique et un format questions-réponses. Ce processus a généré une énorme quantité de nouveaux textes synthétiques. Ils ont ensuite entraîné deux modèles informatiques différents — l'un plus petit et l'autre plus grand — sur ces ensembles de données réécrits pour voir comment la combinaison de la qualité originale et de la réécriture affectait les résultats finaux.

Les résultats ont révélé un schéma clair et surprenant qui remet en question l'espoir que la réécriture puisse réparer les mauvaises données. Lorsque les chercheurs ont utilisé le modèle le plus grand, la technique de réécriture a agi comme un multiplicateur de qualité plutôt que comme un réparateur de défauts. Le modèle entraîné sur les documents de haute qualité qui avaient été réécrits a obtenu des performances nettement supérieures au même modèle entraîné sur le texte de haute qualité original et non modifié. Cependant, lorsqu'ils ont appliqué le même processus de réécriture aux documents de faible qualité, l'amélioration a été à peine perceptible. Le texte de faible qualité réécrit n'a pas rattrapé le texte de haute qualité réécrit ; au contraire, l'écart entre eux est resté important. Cela suggère que le processus de réécriture est plus efficace lorsqu'il prend un matériel déjà excellent pour le rendre encore meilleur, plutôt que d'essayer de sauver un matériel médiocre. Le mélange aléatoire de documents se situait pile au milieu, montrant que le bénéfice de la réécriture augmente régulièrement à mesure que la qualité du texte source s'améliore.

Cet effet dépendait toutefois fortement de la taille du modèle en cours d'entraînement. Lorsque les chercheurs ont répété l'expérience avec un modèle beaucoup plus petit, la distinction claire entre haute et basse qualité a disparu. Dans ce cadre plus restreint, le texte de haute qualité réécrit n'a pas surpassé le texte de faible qualité original de manière constante. Le plus petit modèle semblait incapable d'exploiter pleinement les changements structurels complexes introduits par la réécriture, ou peut-être apprenait-il simplement mieux de la variété brute des données non éditées. Cela indique que la puissance de la réécriture synthétique n'est pas une règle universelle mais un phénomène qui évolue avec la taille du système d'intelligence artificielle. Pour les modèles plus petits, la complexité supplémentaire du texte réécrit peut ne pas apporter de bénéfice, tandis que pour les modèles plus grands et plus capables, la réécriture de données de haute qualité devient un outil puissant pour booster les performances.

L'étude a également examiné des types de tâches spécifiques, telles que la réponse à des questions d'examen ou la compréhension de publications sur les réseaux sociaux, pour voir où la réécriture aidait le plus. Les améliorations ont été les plus spectaculaires dans les domaines exigeant des connaissances structurées et une compréhension culturelle, comme la réponse à des questions d'examen ou le raisonnement à travers des scénarios complexes. Dans ces domaines, le modèle entraîné sur des données de haute qualité réécrites a largement dépassé tous les autres. Curieusement, pour les tâches impliquant des connaissances générales, la réécriture a parfois rendu les choses légèrement moins bonnes, suggérant que le processus peut occasionnellement introdure du bruit ou déformer les faits. Pour les tâches liées aux réseaux sociaux, les données de faible qualité originales ont obtenu des résultats étonnamment bons par elles-mêmes, probablement parce que la nature désordonnée et informelle du texte des réseaux sociaux est naturellement similaire aux données web non éditées sur lesquelles les modèles ont été initialement entraînés.

En fin de compte, la recherche démontre que si la réécriture synthétique est une technique puissante, elle n'est pas une baguette magique capable de transformer des données médiocres en or. Au lieu de cela, elle fonctionne comme un multiplicateur de qualité, amplifiant les forces des bonnes données tout en laissant les faiblesses des mauvaises données largement intactes. Cette analyse est cruciale pour les développeurs travaillant avec des langues qui disposent de moins de ressources que l'anglais. Elle suggère que la stratégie la plus efficace consiste à sélectionner soigneusement le meilleur texte disponible d'abord, puis à utiliser la réécriture pour l'améliorer, plutôt que de compter sur la réécriture pour compenser un manque de qualité. Les résultats soulignent également que la taille du modèle importe ; ce qui fonctionne pour un système large et sophistiqué peut ne pas fonctionner pour un système plus petit. En clarifiant la manière dont la qualité des données et la réécriture interagissent, ce travail offre une voie plus claire pour construire de meilleurs systèmes d'intelligence artificielle pour le portugais et, potentiellement, pour d'autres langues confrontées à des contraintes de ressources similaires.