🤖 AI

Back to the Barn with LLAMAs: Evolving Pretrained LLM Backbones in Finetuning Vision Language Models

Cette étude démontre que le simple remplacement de la base de langage pré-entraînée d'un modèle vision-langage par une version plus récente (de LLAMA-1 à LLAMA-3) n'entraîne pas systématiquement une amélioration des performances, car l'impact dépend fortement de la tâche spécifique et se manifeste souvent par des changements dans la nature des réponses plutôt que par une simple augmentation de la précision.

Auteurs originaux : Sameera Horawalavithana, Lauren Phillips, Ian Stewart, Sai Munikoti, Karl Pazdernik

Publié 2026-04-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sameera Horawalavithana, Lauren Phillips, Ian Stewart, Sai Munikoti, Karl Pazdernik

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Concept de Base : Le Chef et le Caméraman

Imaginez que vous construisez un robot journaliste capable de regarder une photo et d'écrire un article dessus. Pour faire cela, ce robot a besoin de deux équipes :

Le Caméraman (l'encodeur visuel) : Il regarde la photo, repère les objets, les couleurs et les formes.
Le Rédacteur en Chef (le modèle de langage ou LLM) : Il prend ce que le caméraman voit, utilise son cerveau pour comprendre le contexte, et rédige la réponse.

Dans le monde de l'IA, les chercheurs ont souvent dit : "Si on remplace le Rédacteur en Chef par un génie plus récent et plus intelligent, tout le robot deviendra automatiquement meilleur."

Cette étude dit : "Pas si vite !"

Les chercheurs du laboratoire PNNL ont décidé de tester cette idée en gardant le même Caméraman et les mêmes cours de journalisme (les données d'entraînement), mais en changeant uniquement le Rédacteur en Chef. Ils ont comparé trois générations de "chefs" :

LLaMA-1 (Le vétéran, un peu dépassé).
LLaMA-2 (L'intermédiaire, plus moderne).
LLaMA-3 (Le nouveau venu, très intelligent).

Voici ce qu'ils ont découvert, avec des analogies simples :

1. Le nouveau chef n'est pas toujours le meilleur (Tout dépend de la tâche)

C'est la grande surprise. Avoir un Rédacteur en Chef plus intelligent ne garantit pas un meilleur article pour tous les sujets.

Scénario A : Le Quiz de Sciences (ScienceQA)
Imaginez un examen où il faut mémoriser des leçons précises.
- Résultat : Le vieux chef (LLaMA-1) a parfois mieux réussi que le nouveau (LLaMA-3).
- Pourquoi ? Le vieux chef était très bon pour mémoriser des schémas précis. Le nouveau chef, trop intelligent, a parfois essayé de "ruser" ou de trop réfléchir, ce qui l'a fait rater des questions simples qu'il aurait dû connaître par cœur.
- Leçon : Parfois, un cerveau trop complexe peut être moins efficace pour des tâches de mémoire pure.
Scénario B : Décrire une scène de rue (VQA-Scene)
Imaginez qu'on demande au robot : "Combien de personnes y a-t-il sur cette photo ?"
- Résultat : Le nouveau chef (LLaMA-3) a gagné haut la main.
- Pourquoi ? Ici, il faut comprendre le monde réel et le contexte. Le nouveau chef a un meilleur "bon sens" et comprend mieux les nuances de la vie quotidienne.

2. Ils ne répondent pas aux mêmes questions (Le changement de comportement)

C'est le point le plus fascinant. Quand le nouveau chef (LLaMA-3) réussit mieux, ce n'est pas parce qu'il répond mieux aux mêmes questions que l'ancien. C'est qu'il répond à des questions totalement différentes.

L'analogie du détective :
Imaginez deux détectives sur un crime.
- Le détective A (LLaMA-1) regarde la fenêtre cassée et conclut : "C'est un cambrioleur."
- Le détective B (LLaMA-3) regarde la fenêtre, mais aussi la poussière et la lumière, et conclut : "C'est un accident."
- Parfois, A a raison, parfois B a raison. Mais ils ne regardent pas la scène de la même manière.
- Le résultat : Si vous ne regardez que le score global, vous ne voyez pas que le nouveau chef a changé sa façon de penser. Il ne fait pas juste "mieux", il fait "différemment".

3. Le goulot d'étranglement : Quand le Caméraman est le problème

Sur un sujet très technique (les images sismiques géologiques), les chercheurs ont demandé au robot de décrire des rochers et de donner des coordonnées GPS.

Le constat : Peu importe si le Rédacteur en Chef est un génie (LLaMA-3) ou un débutant (LLaMA-1), la qualité de la description reste la même.
Pourquoi ? Parce que le Caméraman (qui regarde la photo) est le même pour tout le monde. Si le Caméraman est flou ou ne voit pas bien les détails de la roche, le Rédacteur en Chef ne peut pas inventer ce qu'il ne voit pas.
La métaphore : C'est comme donner un livre écrit en chinois à un traducteur génial, alors que le livre original est illisible à cause d'une mauvaise photocopie. Améliorer le traducteur ne servira à rien ; il faut améliorer la photocopie (l'encodeur visuel).

4. Les nouveaux super-pouvoirs (Ce que l'ancien ne savait pas faire)

Il y a une exception où le nouveau chef a fait des miracles que les anciens ne pouvaient pas faire du tout : les coordonnées GPS.

L'histoire : L'ancien chef (LLaMA-1) regardait une carte géologique et disait : "C'est à Seattle, dans l'État de Washington." (Il parlait en mots).
Le nouveau chef (LLaMA-3) : Il a dit : "C'est à 47.6° Nord, 122.3° Ouest." (Il a donné des chiffres précis).
Pourquoi ? Le nouveau chef a été entraîné sur plus de données, y compris des formats numériques et des coordonnées. Il a acquis une nouvelle capacité : transformer une image en nombres précis. C'est un nouveau super-pouvoir qui n'existait pas avant.

5. La confiance en soi : Le nouveau chef est plus humble

C'est une découverte psychologique amusante.

Les anciens chefs (LLaMA-1/2) : Ils étaient hyper-confiants. Même quand ils se trompaient, ils répondaient avec une certitude de 100%. C'est comme un étudiant qui crie la mauvaise réponse avec un grand sourire.
Le nouveau chef (LLaMA-3) : Il est plus humble. Il dit : "Je suis à 73% sûr de ma réponse."
Le paradoxe : Celui qui a le moins confiance en lui est en fait celui qui a le plus de bonnes réponses ! Il a appris à douter quand il n'est pas sûr, ce qui le rend plus précis.

🎯 En résumé (La morale de l'histoire)

Cette étude nous apprend trois choses essentielles pour l'avenir de l'IA :

Ne changez pas tout le temps : Remplacer le cerveau (le LLM) par un modèle plus récent ne rend pas toujours le robot plus intelligent. Cela dépend de ce que le robot doit faire.
Regardez comment ils pensent : Un robot peut avoir un meilleur score global, mais fonctionner avec une logique totalement différente. Il ne faut pas juste regarder le résultat, mais comprendre le processus.
Parfois, il faut changer l'objectif, pas le cerveau : Si le robot ne voit pas bien (problème de vision), donner un cerveau plus intelligent ne l'aidera pas. Il faut améliorer la caméra.

En bref : L'intelligence artificielle ne progresse pas toujours de manière linéaire. Parfois, le nouveau modèle est un génie pour les maths, mais un mauvais mémoriste. Et parfois, le vrai progrès vient de savoir comment le modèle voit le monde, pas juste de ce qu'il répond.

1. Problématique

Les modèles Vision-Language (VLM) reposent de plus en plus sur des modèles de langage pré-entraînés (LLM) puissants comme moteurs de raisonnement. Avec l'émergence rapide de nouvelles générations de LLM (comme la série LLAMA de Meta, passant de la version 1 à la 3), il existe un besoin pressant de mettre à jour les VLM existants.

Cependant, une question critique reste sous-explorée : comment l'évolution des LLM pré-entraînés affecte-t-elle réellement les performances des VLM en aval ? La littérature actuelle souffre de variables de confusion importantes (différences d'encodeurs visuels, de données d'entraînement, d'hyperparamètres), rendant difficile l'isolement de l'impact spécifique du backbone LLM. Les chercheurs ne savent pas si un LLM plus récent garantit systématiquement un VLM meilleur, ni comment ces améliorations se traduisent par des capacités multimodales spécifiques.

2. Méthodologie

Les auteurs ont conçu une étude empirique contrôlée et systématique pour isoler l'effet de l'évolution du backbone LLM.

Configuration Expérimentale :
- Backbones LLM : Comparaison de trois versions successives de Meta : LLAMA-1, LLAMA-2 et LLAMA-3.1.
- Contrôles stricts : L'encodeur visuel (CLIP-ViT-Large-Patch14), les données d'entraînement, l'algorithme de fine-tuning (SFT - Supervised Fine-Tuning) et le codebase (NVIDIA NeMo/NeVA) sont identiques pour toutes les expériences.
- Architecture : Un encodeur visuel, un projecteur (connecteur) et le backbone LLM agissant comme décodeur.
Processus d'Entraînement :
- Étape 1 (Alignement) : Fine-tuning sur un jeu de données de légendage scientifique (SciCap) pour aligner l'encodeur visuel et le décodeur LLM.
- Étape 2 (Adaptation) : Fine-tuning supervisé (SFT) sur des tâches spécifiques.
Jeu de Données d'Évaluation (3 Domaines) :
1. ScienceQA : Questions de sciences nécessitant un raisonnement basé sur des images et du texte (fort biais de mémorisation).
2. VQA-Scene : Compréhension de scènes quotidiennes, où la vision joue un rôle central et les priors linguistiques sont contrôlés.
3. Seismic : Données géologiques (images sismiques) avec deux types de sorties : descriptions textuelles et prédiction de coordonnées (latitude/longitude).
Métriques : Précision, corrélation au niveau des instances (pour voir si les modèles résolvent les mêmes exemples), scores de confiance (log-probabilités), et analyse des représentations internes (vecteurs de contexte par couche).

3. Contributions Clés et Résultats

L'étude apporte plusieurs découvertes fondamentales qui contredisent l'hypothèse selon laquelle "un LLM plus récent égale toujours un VLM meilleur".

A. L'impact dépend de la tâche (Pas d'amélioration uniforme)

Résultat : L'amélioration du backbone LLM ne conduit pas systématiquement à une meilleure performance globale.
- VQA-Scene : Performance en hausse (+3,8 % de LLAMA-1 à LLAMA-3).
- ScienceQA : Performance en baisse (-3,4 %).
- Seismic (Texte) : Performance fluctuante sans tendance claire.
Analyse : Les tâches basées sur la mémorisation de motifs textuels (ScienceQA) ne bénéficient pas des nouveaux LLM, qui peuvent même devenir trop dépendants des priors linguistiques au détriment de la vision. En revanche, les tâches de raisonnement visuel ancré (VQA-Scene) profitent des améliorations de compréhension.

B. Changement de comportement au niveau des instances

Résultat : Les modèles plus récents ne résolvent pas simplement "plus" des mêmes questions ; ils résolvent des ensembles de questions différents.
- Sur VQA-Scene, la corrélation entre les instances résolues par LLAMA-1/2 et LLAMA-3 est négative ( $r \approx -0.26$ ). LLAMA-3 réussit là où les anciens échouent, et échoue là où les anciens réussissent.
- Cela indique un changement qualitatif dans la façon dont le modèle traite l'information visuelle.

C. Émergence de nouvelles capacités (Sorties structurées)

Résultat : Certaines capacités n'apparaissent que dans les nouvelles générations.
- Sur la tâche de prédiction de coordonnées (Seismic), LLAMA-1 et LLAMA-2 obtiennent 0 % de précision (ils échouent à formater des nombres géospatiaux).
- LLAMA-3 atteint 76,5 % de précision.
Explication : Cela est attribué à un vocabulaire plus large, une meilleure formation sur des données structurées et une capacité accrue à suivre des instructions pour des formats de sortie spécifiques.

D. Bottleneck de la perception visuelle

Résultat : Lorsque la tâche dépend principalement de l'extraction de caractéristiques visuelles (comme l'analyse d'images géologiques pour des descriptions textuelles), l'amélioration du backbone LLM offre un retour sur investissement minime.
Conclusion : Si l'encodeur visuel est le goulot d'étranglement, changer le LLM n'apporte pas de gains significatifs.

E. Mécanismes Internes : Confiance et Représentations

Confiance (Calibration) : LLAMA-3 est moins confiant (score moyen de 0,73) mais plus précis que LLAMA-1 et LLAMA-2, qui sont surconfiants (score de 1,0) même lorsqu'ils se trompent. LLAMA-3 distribue mieux sa masse de probabilité.
Dynamique des couches :
- LLAMA-1/2 : Présentent de grandes activations et des changements drastiques de représentation dans les couches profondes (transformations brutales avant la réponse finale).
- LLAMA-3 : Montre des activations plus petites et stables, avec un raffinement incrémental de la représentation à travers les couches. Ce processus plus stable explique sa meilleure calibration et son comportement différent.

4. Signification et Implications

Cette étude remet en question la pratique courante consistant à simplement remplacer le backbone LLM d'un VLM par une version plus récente pour espérer une amélioration automatique.

Spécificité de la tâche : Le choix du backbone LLM doit être aligné sur la nature de la tâche (mémorisation vs raisonnement visuel vs sortie structurée).
Évaluation nuancée : La précision globale (accuracy) masque des changements comportementaux profonds. Il est crucial d'analyser la corrélation au niveau des instances et la calibration de la confiance.
Priorités d'optimisation : Pour les tâches où la perception visuelle est le facteur limitant, l'effort doit porter sur l'amélioration de l'encodeur visuel plutôt que sur le LLM.
Compréhension des mécanismes : Les nouvelles générations de LLM ne sont pas seulement "plus grandes", elles fonctionnent selon des dynamiques internes qualitativement différentes (stabilité, raffinement incrémental), ce qui explique leur capacité à résoudre des problèmes différents et à mieux gérer l'incertitude.

En résumé, l'évolution des LLM transforme les VLM de manière non linéaire et spécifique au domaine, nécessitant une réévaluation rigoureuse des stratégies de mise à jour des modèles multimodaux.