Foundational values for foundation models

La Grande Cuisine de l'IA : Pourquoi nous choisissons entre les Maîtres Chefs et la Cuisine Maison

Imaginez que vous essayiez de construire un robot capable de regarder une radiographie et de vous dire si un patient a une fracture. Dans le monde de la science médicale, il s'agit d'un jeu à enjeux élevés où le « cerveau » du robot (son algorithme) doit être incroyablement intelligent, mais aussi sûr et compréhensible. Pendant longtemps, les scientifiques ont construit ces cerveaux à partir de zéro, en leur enseignant chaque règle de l'anatomie et de la physique en partant de la base. Mais récemment, une nouvelle tendance a explosé : les « Modèles de Fondation ». Considérez-les comme des super-cerveaux géants pré-entraînés qui ont déjà lu toute la bibliothèque du savoir humain. Ils sont comme des maîtres chefs qui ont déjà cuisiné tous les plats du monde ; il vous suffit de leur demander de préparer une soupe spécifique, et ils ajustent légèrement leur recette au lieu de repartir des ingrédients bruts.

Mais voici la partie délicate : ce n'est pas parce qu'un maître chef peut faire votre soupe qu'il est le meilleur choix pour votre dîner spécifique. Peut-être avez-vous besoin d'un plat qui utilise très peu d'eau (parce que votre puits est à sec), ou peut-être avez-vous besoin de savoir exactement pourquoi le chef a ajouté du sel pour pouvoir faire confiance au goût. C'est là que la question devient profonde. Les scientifiques débattent désormais de l'utilisation de ces cerveaux géants pré-faits ou de la construction de leurs propres modèles plus petits et personnalisés. Il ne s'agit pas seulement de savoir lequel est le plus rapide ou le plus intelligent ; il s'agit de savoir quelles valeurs comptent le plus. Est-ce que nous nous soucions davantage d'économiser de l'énergie ? Est-ce que nous nous soucons de pouvoir expliquer nos décisions à un médecin ? Ou est-ce que nous nous soucions de garantir que les scientifiques des pays pauvres puissent participer au jeu ? Ce document explore précisément ce débat, cartographiant les valeurs cachées qui guident ces choix techniques.

---

La Carte des Valeurs : Pourquoi nous choisissons nos outils d'IA

Les auteurs de ce document, John Baxter et Elodie Germani, ont décidé de jouer au jeu du « Pourquoi ? » avec la communauté scientifique. Ils ont demandé : « Pourquoi les chercheurs choisissent-ils d'utiliser ces modèles de fondation géants, et pourquoi d'autres choisissent-ils d'entraîner leurs propres modèles à partir de zéro ? » Pour répondre à cela, ils ont utilisé une méthode appelée « l'approche socratique ». Imaginez un détective demandant à un suspect : « Pourquoi avez-vous fait cela ? », puis demandant : « Et pourquoi cette raison était-elle importante ? », encore et encore, jusqu'à atteindre le cœur même de la croyance. Ils ont fait cela pour construire une carte géante (un graphe) montrant comment différentes valeurs se connectent aux décisions techniques.

Leur enquête a révélé que le choix n'est pas un simple interrupteur « bon contre mauvais ». Au lieu de cela, c'est un bras de fer entre deux côtés d'un spectre. D'un côté, vous avez l'utilisation de Modèles de Fondation avec des changements minimaux (comme engager le maître chef). De l'autre côté, vous avez l'entraînement d'un modèle à partir de zéro ou l'apport de changements majeurs (comme cuisiner à partir de rien).

Le cas du Maître Chef (Modèles de Fondation)

De nombreux chercheurs penchent pour l'utilisation de ces géants pré-entraînés pour quelques raisons très pratiques.

Premièrement, il y a l'Efficacité des Données. Imaginez que vous essayiez d'apprendre à diagnostiquer une maladie rare, mais que vous n'avez que cinq dossiers de patients. Un modèle entraîné à partir de zéro serait confus et échouerait. Mais un Modèle de Fondation a déjà vu des millions d'images et de motifs. C'est comme avoir un chef qui a goûté toutes les épices du monde ; il peut deviner la saveur de votre nouveau plat avec très peu d'aide. C'est une victoire majeure pour les chercheurs qui n'ont pas accès à des quantités massives de données.

Deuxièmement, il y a la Réutilisation du Modèle. Pourquoi réinventer la roue ? Si un modèle existe déjà et qu'il est bon pour comprendre les images médicales, vous pouvez simplement l'utiliser. Cela permet de gagner du temps et des efforts, menant à la Rapidité de Recherche et de Facilitation. La recherche médicale est difficile ; elle nécessite des règles strictes, des approbations éthiques et une collecte de données complexe. Utiliser un outil pré-fait permet aux scientifiques de sauter l'étape lourde de la construction du moteur pour se concentrer sur la conduite de la voiture.

Troisièmement, il y a la Reconnaissance du Modèle. Si vous utilisez un modèle célèbre que tout le monde connaît, votre travail sera cité plus souvent. C'est comme utiliser une marque connue ; les gens lui font confiance, et il est plus facile d'expliquer votre travail aux autres.

Le cas de la Cuisine Maison (Entraîner votre propre modèle)

Cependant, l'article note que de nombreux scientifiques argumentent contre l'utilisation de ces géants, et ce pour de bonnes raisons.

Le plus gros problème est l'Explicabilité. Si un maître chef prépare une soupe et dit : « Elle est bonne », mais que vous ne pouvez pas lui demander pourquoi il a ajouté cette herbe spécifique, vous pourriez ne pas lui faire confiance. En médecine, la confiance est primordiale. Les médecins ont besoin de savoir pourquoi une IA pense qu'un patient est malade. Les modèles de fondation sont si vastes et complexes que même leurs créateurs ne peuvent souvent pas expliquer exactement comment ils prennent une décision. Si vous construisez votre propre modèle, vous pouvez le concener pour qu'il soit transparent, ce qui facilite l'obtention de la Confiance Clinique et le respect des règles de Réglementation.

Ensuite, il y a le problème de la Vitesse et de la Mémoire. Les modèles de fondation sont comme de gros camions lourds. Ils sont puissants, mais ils consomment beaucoup de carburant (énergie) et nécessitent un immense garage (mémoire informatique). Si vous devez juste livrer un petit colis, une petite voiture efficace (un modèle personnalisé) est préférable. L'article note que les modèles de fondation ont souvent un « poids mort » — des parties du cerveau qui ne sont pas utilisées pour votre tâche spécifique mais qui occupent quand même de l'espace. Si vous vous souciez de l'Environnementalisme (économiser l'énergie et l'eau) ou si vous avez une puissance informatique limitée, entraîner un modèle plus petit et personnalisé est souvent le meilleur choix.

Il y a aussi une valeur appelée Souveraineté de la Recherche. Il s'agit de l'équité. Si seuls quelques pays riches ou grandes entreprises possèdent les géants maîtres chefs, alors les scientifiques des pays plus pauvres ne peuvent pas réellement participer à moins d'être autorisés à utiliser ces outils spécifiques. L'article suggère que si les Modèles de Fondation pourraient aider à niveler le terrain en donnant accès à un outil puissant, il existe un risque de « verrouillage infrastructurel », où tout le monde devient dépendant d'un seul fournisseur. Construire ses propres modèles permet plus d'indépendance.

Le Terrain Difficile du Milieu : Équité et Nouveauté

L'article souligne que certaines valeurs sont confuses et ne s'intègrent pas proprement d'un côté ou de l'autre.

Prenons la Équité. Vous pourriez penser qu'un modèle géant entraîné sur des millions de personnes est plus équitable car il voit plus de diversité. Mais les auteurs soulignent que la plupart de ces modèles sont en réalité entraînés par des centres uniques sur des ensembles de données uniques, ce qui peut encore être biaisé. Ainsi, utiliser un modèle géant ne corrige pas automatiquement l'injustice ; cela pourrait même la masquer. L'article suggère que garantir l'équité pourrait en réalité nécessiter plus de contrôle sur le modèle, ce qui penche vers la construction de son propre modèle.

Ensuite, il y a la Nouveauté du Modèle. En science, les gens adorent découvrir quelque chose de nouveau. Utiliser un modèle pré-fait donne l'impression d'utiliser l'invention de quelqu'un d'autre. Si vous voulez être célèbre pour une nouvelle découverte, vous voudrez peut-être construire une nouvelle architecture à partir de zéro. Cependant, l'article note que la « nouveauté » signifie souvent rendre les choses plus complexes, ce qui entre en conflit avec le désir de modèles simples et économes en énergie.

Le Verdict Final : Cela dépend de ce que vous valorisez

L'article conclut qu'il n'y a pas de réponse unique « meilleure ». Le choix dépend entièrement de ce que le chercheur valorise le plus.

• Si vous valorisez la vitesse, l'efficacité des données et la facilité d'utilisation, vous choisirez probablement un Modèle de Fondation.
• Si vous valorisez l'explicabilité, l'impact environnemental et le contrôle total, vous entraînerez probablement votre propre modèle.

Les auteurs suggèrent que la communauté scientifique doit être honnête sur ces compromis. Nous ne pouvons pas simplement dire « l'IA est bonne » ou « les modèles de fondation sont l'avenir ». Nous devons demander : « Bonne pour quoi ? Et à quel prix ? ». En comprenant ces valeurs sous-jacentes, les scientifiques peuvent prendre de meilleures décisions qui ne sont pas seulement basées sur ce qui fonctionne techniquement, mais sur ce qui fonctionne pour la société, l'environnement et l'avenir de la médecine. L'article ne prétend pas avoir résolu le problème, mais il fournit une carte claire pour aider chacun à naviguer dans le débat.