Transformer Models for Text Summarization: A Comparative Study of BART, BERT, and RoBERTa

Dans un monde où l'information arrive plus vite que nous ne pouvons la lire, la capacité de distiller un document long en ses points essentiels est devenue une compétence vitale. C'est le domaine du résumé automatique de texte, un champ de l'informatique dédié à apprendre aux machines à lire, comprendre et condenser le langage humain. Pendant des décennies, les chercheurs ont tenté de résoudre ce problème en apprenant aux ordinateurs soit à sélectionner les phrases les plus importantes d'un texte, soit à réécrire entièrement le contenu avec de nouveaux mots. La première méthode, souvent appelée extractive, revient à surligner les meilleures lignes d'un livre ; la seconde, dite abstraite, ressemble davantage à un journaliste réécrivant un article pour un public différent. Récemment, une nouvelle génération de programmes informatiques, construits sur une structure appelée « transformer », a pris le dessus dans ce domaine. Ces programmes sont entraînés sur de vastes quantités de texte pour apprendre comment le langage fonctionne, ce qui leur permet d'accomplir ces tâches de résumé avec une rapidité et une précision remarquables.

Une équipe de chercheurs de l'Université de Penn State s'est récemment donné pour mission de comparer trois des programmes les plus populaires de cette nouvelle génération : BERT, RoBERTa et BART. Bien que les trois soient construits sur la même technologie fondamentale, ils sont conçus avec des structures internes et des méthodes d'entraînement différentes, ce qui les rend adaptés à différents types de travail. Les chercheurs voulaient comprendre exactement comment ces différences affectent leur capacité à résumer des articles de presse. Ils n'ont pas inventé de nouveaux modèles mais ont plutôt soumis ces trois modèles existants à un test rigoureux pour voir lequel performait le mieux sous des conditions spécifiques. Pour ce faire, ils ont utilisé une collection d'articles de presse réels et les résumés écrits par des humains qui les accompagnaient, un ensemble de matériaux standard pour ce type de recherche. Comme ils travaillaient avec une puissance de calcul limitée, ils n'ont pas pu utiliser l'ensemble du jeu de données massif, ils ont donc sélectionné une partie plus petite et gérable contenant 15 000 articles pour l'entraînement et 100 pour les tests.

L'expérience a révélé une division claire dans la manière dont ces modèles abordent la tâche. Les deux premiers modèles, BERT et RoBERTa, sont conçus pour comprendre le texte mais pas pour générer de nouvelles phrases. Dans cette étude, ils ont été utilisés pour effectuer un résumé extractif, ce qui signifie qu'ils devaient identifier et sélectionner les phrases les plus importantes directement à partir de l'article original. Le troisième modèle, BART, est construit différemment ; il possède une structure qui lui permet de générer un nouveau texte à partir de zéro, ce qui en fait un résumeur abstractif. Lorsque les chercheurs ont lancé les tests, les résultats ont montré que le modèle conçu pour la génération, BART, produisait des résumés nettement plus proches des références écrites par les humains que les deux autres. Dans le langage du domaine, qui mesure le nombre de mots et de phrases qui se chevauchent entre la production de l'ordinateur et celle de l'humain, BART a obtenu un score bien plus élevé. Il a atteint un score d'environ 0,41 sur sa mesure principale, tandis que le meilleur des modèles extractifs, RoBERTa, n'a obtenu qu'environ 0,18.

L'étude a également mis en évidence les différences entre les deux modèles extractifs. RoBERTa, qui est une version plus raffinée et plus robuste de l'original BERT, a systématiquement surpassé BERT lorsque tous deux recevaient le même temps d'entraînement et les mêmes données. Cela suggère que la manière dont un modèle est initialement enseigné à comprendre le langage compte tout autant que la façon dont il est appliqué à une tâche spécifique. Cependant, l'écart entre les modèles extractifs et le modèle génératif était bien plus large. Les chercheurs ont noté que, bien que BART produise des résumés qui coulent mieux et capturent le sens de manière plus naturelle, il a été évalué dans un état où il n'avait pas été spécifiquement entraîné sur le jeu de données d'actualités, contrairement aux deux autres modèles qui ont été affinés pour la tâche. Même avec cet avantage accordé aux modèles extractifs, l'approche générative a dominé les résultats.

Malgré la haute performance du modèle génératif, les chercheurs ont souligné des compromis importants. Le modèle qui crée de nouvelles phrases, BART, est excellent pour produire un texte fluide et lisible, mais il porte le risque d'« hallucination », où il pourrait inventer un détail ou légèrement altérer un fait pour que l'histoire soit plus fluide. En revanche, les modèles extractifs, qui se contentent de copier des phrases de la source, sont garantis d'être factuellement exacts car ils n'inventent rien, mais leurs résumés peuvent parfois paraître saccadés ou décousus. L'étude a également reconnu que les résultats ont été façonnés par les contraintes de leur équipement ; ils ont mené les expériences sur des processeurs informatiques standards plutôt que sur des puces spécialisées à haute vitesse, ce qui a limité la quantité de données qu'ils pouvaient traiter.

En fin de compte, ce travail confirme que l'architecture d'un modèle dicte ses forces. Si l'objectif est d'obtenir un résumé rapide et factuellement sûr en extrayant des phrases clés, les modèles extractifs comme RoBERTa sont un choix solide. Mais si l'objectif est de produire une réécriture fluide et humaine d'un document, le modèle génératif BART est bien supérieur, même sans entraînement supplémentaire sur les données spécifiques. Les chercheurs ont conclu que, bien que ces outils soient puissants, le choix entre eux dépend de si l'on privilégie la fidélité factuelle stricte ou la fluidité du langage naturel. Alors que le domaine progresse, la prochaine étape consistera probablement à tester ces modèles sur des sujets spécialisés comme le droit ou la médecine, où l'équilibre entre la fluidité et l'exactitude absolue devient encore plus critique.