How Far Can a Single Vector Carry a Language? Mechanistic Limits of Inference-Time Steering for Low-Resource Devanagari Languages
Cet article étudie les limites mécanistes du pilotage à l'inférence pour générer des langues de l'écriture devanagari à faibles ressources (maithili, népalais et bhojpuri) en utilisant des représentations de l'hindi dans de grands modèles multilingues, concluant que si un simple décalage vectoriel peut induire l'adhérence à la langue cible, il provoque inévitablement un effondrement de la fluidité, révélant que la capacité de pilotage est contrainte par la séparabilité linéaire plutôt que par la compétence du modèle ou le chevauchement du vocabulaire.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les grands modèles de langage sont les moteurs de nombreux outils modernes qui écrivent, traduisent et conversent dans des dizaines de langues humaines. Ces systèmes sont entraînés sur de vastes quantités de texte, apprenant à prédire le mot suivant dans une phrase en reconnaissant les motifs de la manière dont les mots s'assemblent. Bien qu'ils soient incroyablement puissants, ils viennent avec une liste intégrée de langues qu'ils supportent officiellement. Si une langue ne figure pas sur cette liste, le modèle la traite souvent comme inconnue, même si elle partage le même alphabet et de nombreux mots avec une langue qu'il connaît. Les chercheurs se demandent depuis longtemps s'ils pourraient pousser ces modèles à parler une langue non supportée sans les réentraîner de zéro. Au lieu d'enseigner au modèle de nouveaux faits, ils ont essayé une approche différente : trouver une « direction » spécifique à l'intérieur de la mathématique interne du modèle qui pointe vers la langue manquante. Cette idée repose sur le concept selon lequel la compréhension par le modèle de différentes langues existe sous forme de formes ou de chemins distincts dans son cerveau numérique, et qu'peut-être qu'une simple poussée pourrait déplacer sa sortie d'un chemin à un autre.
Une équipe de chercheurs s'est lancée dans le test des limites de cette idée en utilisant quatre langues qui partagent l'écriture Devanagari, un système d'écriture utilisé dans toute l'Asie du Sud. Le hindi est une langue majeure supportée par la plupart des grands modèles, tandis que le maithili, le népalais et le bhojpuri sont des « langues sœurs » étroitement liées qui sont souvent laissées de côté malgré le fait qu'elles soient parlées par des millions de personnes. Les chercheurs ont posé une question simple mais profonde : si ils prenaient la compréhension interne du hindi par le modèle et tentaient de le pousser vers l'une de ces sœurs non supportées en utilisant une seule poussée mathématique, jusqu'où pourraient-ils aller ? Ils n'ont pas modifié les poids du modèle ni injecté de nouvelles données. Au lieu de cela, ils ont analysé le comportement du modèle lorsqu'il traitait du texte, ont identifié le « centre » moyen de la façon dont il représentait le hindi, et l'ont comparé au centre pour la langue cible. La différence entre ces deux centres a créé un vecteur, une direction fixe dans l'espace interne du modèle. Pendant le processus de génération de texte, ils ont ajouté cette direction au flux d'informations du modèle, espérant ainsi orienter la sortie loin du hindi et vers la langue cible.
Les chercheurs ont découvert que la structure interne du modèle ressemble à un sablier. Au début de son traitement, les représentations des différentes langues sont distinctes. À mesure que l'information progresse plus profondément dans le réseau, ces chemins fusionnent en un noyau commun et partagé où les langues deviennent indiscernables. Près de la fin, juste avant que le modèle ne produise ses derniers mots, les chemins se séparent à nouveau. Étonnamment, les chercheurs ont découvert qu'ils ne pouvaient diriger avec succès le modèle vers une langue cible que pendant la section médiane de ce voyage, alors que les langues étaient encore en train de fusionner. Une fois que les chemins ont commencé à se séparer à nouveau près de la sortie, la poussée n'avait plus d'effet. Cela était contre-intuitif car on pourrait s'attendre à ce que le point où les langues sont les plus clairement différentes soit l'endroit le plus facile pour basculer de l'une à l'autre. Au contraire, le modèle était le plus réceptif à la poussée lorsque les langues étaient les plus mélangées.
Lorsqu'ils ont appliqué cette technique de direction, les résultats ont été un mélange de succès et d'échecs. Le modèle pouvait être poussé à produire un texte utilisant le vocabulaire et les marqueurs grammaticaux de la langue cible, tels que le népalais. Dans un test spécifique, le modèle a obtenu un score élevé pour parler la langue cible, atteignant un niveau où un juge humain le reconnaîtrait comme étant principalement du népalais. Cependant, ce succès est venu avec un coût élevé. À mesure que le modèle était poussé plus fort pour parler la nouvelle langue, il perdait sa capacité à parler avec fluidité. Le texte commençait à se répéter, bouclant sur les mêmes mots ou phrases, et les phrases devenaient hachées. Les chercheurs ont découvert qu'il n'existait aucun réglage où le modèle pouvait parler la langue cible de manière fluide et correcte en même temps. La poussée pouvait changer l'identité de surface de la langue, la faisant ressembler au népalais, mais elle ne pouvait pas restaurer le flux naturel et la cohérence d'un locuteur fluide.
Pour s'assurer qu'il ne s'agissait pas d'un simple coup de chance ou d'un tour propre à un modèle spécifique, l'équipe a comparé leurs résultats à une méthode différente appelée « few-shot prompting », où ils montrent simplement au modèle des exemples de la langue cible avant de lui demander d'écrire. Cette méthode alternative a permis au modèle de produire un texte fluide et naturel dans les langues cibles, prouvant que le modèle possédait réellement la capacité de les parler. Cela a confirmé que l'échec de la technique de direction n'était pas dû à un manque de connaissances du modèle, mais plutôt à une limitation de l'utilisation d'une poussée unique et rectiligne pour passer entre des états linguistiques complexes. L'étude a également révélé que le choix de la langue de départ importait énormément. Utiliser le hindi comme point de départ fonctionnait bien mieux qu'utiliser l'anglais, même si l'anglais est la langue dominante dans l'entraînement du modèle. Cela s'expliquait par le fait que le hindi est linguistiquement plus proche des langues cibles, partageant plus de vocabulaire et de structure, ce qui rendait le chemin entre elles plus court et plus facile à naviguer.
L'étude conclut que, bien qu'une direction mathématique unique puisse modifier l'output d'un modèle pour imiter une nouvelle langue, elle ne peut pas pleinement débloquer la fluidité de cette langue. La technique agit davantage comme une sonde, révélant où dans la structure interne du modèle l'identité linguistique est flexible, plutôt que de servir d'outil pratique pour le déploiement. Elle a montré que la capacité du modèle à parler ces langues existe, mais y accéder nécessite plus qu'une simple poussée ; cela nécessite le contexte et les exemples que fournit le « few-shot prompting ». Les chercheurs ont également noté que l'efficacité de cette méthode dépend fortement de la proximité de la langue de départ avec la langue cible, le hindi s'avérant être un bien meilleur pont que l'anglais. En fin de compte, ce travail cartographie les limites de ce qui est possible avec la direction lors de l'inférence, montrant que si nous pouvons pousser un modèle vers une nouvelle langue, nous ne pouvons pas le forcer à devenir fluide dans cette langue sans changements plus substantiels ou un contexte supplémentaire.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.