Intern-S1-Pro: Scientific Multimodal Foundation Model at Trillion Scale

Le papier présente Intern-S1-Pro, le premier modèle fondamental multimodal scientifique à l'échelle du trillion de paramètres, qui combine des capacités de raisonnement général avancées et une expertise approfondie dans plus de 100 tâches scientifiques spécialisées grâce à une infrastructure d'entraînement par apprentissage par renforcement optimisée.

L'essentiel

🌟 Intern-S1-Pro : Le "Super-Cerveau" de 1 000 Milliards de Connexions

Imaginez que vous avez un cerveau humain moyen. Maintenant, imaginez un cerveau qui serait 1 000 fois plus grand, capable de lire tous les livres de la bibliothèque du monde en une seconde, de voir une image et de comprendre ce qu'elle dit, et de résoudre des problèmes de physique quantique ou de chimie complexe aussi facilement que nous comptons sur nos doigts.

C'est ce qu'est Intern-S1-Pro. C'est le premier modèle d'intelligence artificielle scientifique d'une échelle "trillion" (un billion, soit 1 000 milliards) de paramètres.

Voici comment cela fonctionne, expliqué avec des métaphores du quotidien :

1. La Taille Compte (Mais pas n'importe comment)

Habituellement, pour faire un expert en chimie, on crée un petit cerveau spécialisé. Pour faire un expert en biologie, un autre petit cerveau.
Intern-S1-Pro, lui, c'est un Géant Universel.

• L'analogie : Imaginez un chef cuisinier. D'habitude, vous embauchez un chef pour les pâtes, un autre pour les desserts, un autre pour les viandes. Intern-S1-Pro, c'est un seul chef qui a lu tous les livres de cuisine du monde, connaît la chimie des ingrédients, et peut cuisiner n'importe quel plat, du petit-déjeuner au banquet royal, tout en inventant de nouvelles recettes.
• Le résultat : Ce géant est si grand qu'il est non seulement meilleur que les petits chefs spécialisés dans leur domaine, mais il comprend aussi le monde entier (les actualités, les films, les mathématiques) en même temps.

2. L'Architecture : Une Ville de 1 000 Experts (MoE)

Comment un cerveau aussi gros ne fond-il pas sous le poids de ses propres pensées ? Grâce à une architecture appelée MoE (Mélange d'Experts).

• L'analogie : Imaginez une immense entreprise avec des milliers de spécialistes. Quand vous posez une question, vous ne réveillez pas tout le monde. Vous sonnez seulement le bureau du spécialiste concerné (par exemple, le chimiste pour une question de chimie).
• Le problème résolu : Dans les versions précédentes, certains bureaux étaient surchargés (embouteillages) et d'autres vides. Les chercheurs ont inventé une nouvelle règle de gestion (le "Grouped Routing") : ils ont organisé les bureaux en quartiers. Quand un employé arrive, il est dirigé vers le quartier le moins bondé, mais toujours vers le meilleur expert disponible. Cela évite les embouteillages et rend le système ultra-rapide et stable.

3. Apprendre à "Voir" la Science (Le Défi des Images)

Les modèles d'IA habituels sont bons pour lire des textes, mais ils ont du mal avec les images scientifiques (des graphiques complexes, des formules chimiques, des microscopes).

• Le problème : Si vous montrez une image d'un graphique scientifique à une IA classique, elle dira : "Ah, c'est un graphique". Mais elle ne comprendra pas pourquoi la courbe monte.
• La solution (Le Pipeline de Légendes) : L'équipe a créé un "traducteur" spécial. Au lieu de laisser l'IA lire des légendes courtes et floues, ils ont entraîné un autre modèle pour écrire des descriptions ultra-détaillées de chaque image scientifique.
  • Exemple : Au lieu de dire "Graphique de température", le système dit : "Ce graphique montre que la température a augmenté de 20% entre 10h et 12h, ce qui correspond à la réaction chimique X...".
  • Cela permet à Intern-S1-Pro de "voir" la science comme un chercheur humain, en comprenant les détails fins.

4. Le Temps et les Ondes (Les Séries Temporelles)

La science ne se passe pas seulement en images, mais aussi dans le temps (le rythme cardiaque, les tremblements de terre, les signaux radio).

• L'analogie : Les IA classiques voient le temps comme une suite de points isolés (comme des perles sur un collier). Mais la réalité est une onde continue (comme une rivière qui coule).
• La solution : Ils ont ajouté un module spécial qui transforme ces "perles" en "rivière". Cela permet au modèle de comprendre les flux, les rythmes et les changements subtils dans les données temporelles, ce qui est crucial pour la médecine ou la météorologie.

5. L'Agent Autonome : Le Stagiaire Intelligent

Ce n'est pas juste un livre qui répond aux questions. C'est un agent.

• L'analogie : Si vous lui demandez "Trouvez-moi un médicament contre le cancer", il ne vous donne pas juste une définition. Il va :
  1. Chercher sur internet.
  2. Analyser des articles scientifiques.
  3. Faire des calculs.
  4. Vous proposer un plan d'action.
     Il agit comme un stagiaire brillant qui peut faire le travail à votre place.

🏆 Les Résultats : Qui est le meilleur ?

Le papier compare Intern-S1-Pro aux géants propriétaires (comme GPT-5 ou Gemini).

• En science pure : Intern-S1-Pro bat souvent les modèles privés les plus chers. Il est devenu le roi incontesté des tâches scientifiques (chimie, biologie, matériaux).
• En général : Il reste aussi très fort en mathématiques, en code et en compréhension générale, rivalisant avec les meilleurs modèles du monde.

En Résumé

Intern-S1-Pro est comme un super-héros scientifique.
Il a la taille d'un cerveau de 1 000 milliards de neurones, il est organisé comme une ville parfaitement gérée pour éviter les embouteillages, il a appris à lire les images scientifiques avec une loupe, et il peut agir seul pour résoudre des problèmes complexes.

Le message principal de l'équipe est simple : On n'a pas besoin de créer des milliers de petits experts séparés. Si on crée un seul "Grand Généraliste" assez intelligent et bien entraîné, il deviendra naturellement le meilleur expert dans tous les domaines, y compris les plus pointus. C'est la preuve que la taille, couplée à une bonne architecture, change la donne.

Résumé technique

Résumé Technique : Intern-S1-Pro, un Modèle Fondation Scientifique Multimodal à l'Échelle du Trillion de Paramètres

1. Problématique et Contexte

L'avènement des modèles de langage (LLM) et des modèles vision-langage (VLM) a transformé l'intelligence artificielle, mais leur application dans le domaine de la science (AI4S) reste limitée par plusieurs facteurs :

• Diversité des domaines scientifiques : Contrairement au langage naturel, la science englobe des champs spécialisés (chimie, biologie, physique, sciences de la Terre) avec leurs propres notations, connaissances et schémas de raisonnement.
• Limites des modèles spécialisés : Il est communément admis que des modèles spécialisés sont nécessaires pour des tâches de niche. Cependant, les modèles actuels peinent à maîtriser simultanément un large éventail de tâches scientifiques tout en conservant des capacités générales de raisonnement et de compréhension visuelle.
• Défis de l'architecture à grande échelle : Le passage à l'échelle du trillion de paramètres (1T) dans des architectures Mixture-of-Experts (MoE) pose des problèmes d'instabilité d'entraînement (déséquilibre de charge entre les experts) et de difficulté d'optimisation des embeddings du routeur.
• Qualité des données scientifiques : Les données visuelles scientifiques (figures, graphiques dans les PDF) manquent souvent de légendes précises et alignées, contrairement aux données web générales.

2. Méthodologie et Architecture

Intern-S1-Pro est le premier modèle fondation multimodal scientifique à atteindre 1 trillion de paramètres. Son développement repose sur le cadre SAGE (Synergistic Architecture for Generalizable Experts) et plusieurs innovations techniques clés :

A. Architecture et Expansion des Experts

• Expansion à partir d'Intern-S1 : Le modèle est dérivé d'Intern-S1 par une expansion massive des experts.
• Routage Groupé (Grouped Routing) : Pour résoudre le déséquilibre de charge lors du Expert Parallelism (EP), les experts sont divisés en groupes disjoints. Au lieu d'une sélection Top-K globale, le modèle sélectionne le Top-1 (ou Top-2) expert au sein de chaque groupe. Cela garantit un équilibrage de charge absolu entre les dispositifs (devices) et stabilise l'entraînement, évitant les pics de mémoire (OOM).
• Estimateur Direct (Straight-Through Estimator - STE) : Pour améliorer l'apprentissage des embeddings du routeur, une méthode STE est utilisée. Elle permet au gradient de traverser la distribution dense softmax lors de la rétropropagation, même si la sélection à l'avant-plan reste éparses (Top-K). Cela fournit un signal d'apprentissage à tous les experts, accélérant la convergence et améliorant l'équilibrage.
• Encodage de Position Fourier (FoPE) : Remplace les encodages positionnels traditionnels (RoPE) pour mieux capturer la nature ondulatoire et spectrale des signaux physiques (images, sons, séries temporelles), comblant le fossé entre la représentation discrète des tokens et les signaux continus du monde physique.

B. Modulation Multimodale Spécifique

• Encodeur de Vision Natif (ViT) : Utilise un Native Vision Transformer qui traite les images à leur résolution native, préservant les informations spatiales fines sans redimensionnement fixe.
• Encodeur de Séries Temporelles : Un module dédié pour les données temporelles (séries chronologiques) avec un échantillonnage adaptatif. Il découpe les signaux continus en segments locaux et modélise les dépendances à long terme, permettant de gérer des séquences de 100 à 10^6 pas de temps tout en normalisant les taux d'échantillonnage hétérogènes.

C. Pipeline de Données et Pré-entraînement

• Pipeline de Légendage Scientifique (Caption Pipeline) : Pour pallier le manque de légendes précises dans la littérature scientifique, l'équipe a construit un pipeline automatisé extrayant des sous-graphiques de millions de PDF.
  • Utilisation de MinerU2.5 pour l'analyse de mise en page.
  • Génération de légendes denses et techniques via InternVL3.5-241B (pour le scientifique) et CapRL-32B (pour le général), utilisant l'apprentissage par renforcement (RLVR).
  • Filtrage par un discriminateur de qualité de texte.
  • Résultat : ~270 milliards de tokens de données image-texte scientifiques de haute qualité.
• Gestion des Conflits de Données : Pour éviter le "negative transfer" entre données scientifiques (logique déterministe) et données générales (diversité sémantique), le modèle utilise :
  • Transformation des données structurées en texte narratif.
  • Diversification des prompts et mécanisme de Rollout pour générer des chaînes de raisonnement complètes.
  • Isolation des System Prompts : Injection de préfixes système exclusifs pour séparer les contextes d'entraînement scientifique et général.

D. Apprentissage par Renforcement (RL) à Précision Mixte

• Stabilité FP8 : Pour l'entraînement RL à l'échelle du trillion, le modèle utilise une quantification FP8 pour les couches d'experts (les plus gourmandes en mémoire) tout en conservant la tête de langage en FP32 pour la précision des probabilités.
• Cohérence Train-Inference : Mise en œuvre d'un mécanisme de Rollout Router Replay pour garantir que les mêmes experts sont sélectionnés lors de la génération (rollout) et de la mise à jour de la politique, éliminant les divergences entre les moteurs d'inférence et d'entraînement.

3. Résultats Clés

Les évaluations ont été menées sur une large gamme de benchmarks scientifiques et généraux, couvrant le texte seul et le multimodal.

A. Performance Scientifique (Supériorité sur les modèles propriétaires)

Intern-S1-Pro surpasse les modèles propriétaires de pointe (GPT-5.2, Gemini-3-Pro) sur de nombreuses tâches scientifiques :

• Raisonnement Scientifique (SciReasoner) : 55.5 (vs 14.7 pour Gemini-3-Pro et 13.6 pour GPT-5.2).
• Tâches Multimodales Scientifiques (SFE) : 52.7 (vs 58.9 pour Gemini-3-Pro, mais supérieur à GPT-5.2).
• Chimie et Matériaux :
  • SmolInstruct (Synthèse moléculaire) : 74.8 (vs 58.3 pour Gemini-3-Pro).
  • MatBench (Propriétés des matériaux) : 72.8 (vs 64.9 pour Gemini-3-Pro).
• Biologie et Séries Temporelles :
  • Sur le benchmark SciTS (séries temporelles), le modèle atteint des scores F1 exceptionnels (ex: 99.5 sur EAU01), surpassant largement les LLM textuels et les VLM existants.
  • Sur les tâches biologiques (Biology-Instruction), il obtient un score moyen de 52.45 contre 39.24 pour un modèle spécialisé (Biology-Instruction), prouvant qu'un modèle généraliste plus grand peut surpasser un modèle spécialisé même avec des données d'entraînement similaires.

B. Capacités Générales et Agents

• Raisonnement Mathématique : 93.1 sur AIME-2025 et 86.6 sur MMLU-Pro, rivalisant avec les meilleurs modèles open-source (Qwen3-VL-235B).
• Capacités d'Agent : Le modèle démontre une forte capacité de planification et d'exécution autonome (GAIA : 77.4, ScreenSpot V2 : 93.6), permettant de gérer des flux de travail scientifiques complexes.

4. Contributions Clés

1. Premier Modèle Scientifique à 1T Paramètres : Démonstration qu'un modèle "généraliste" suffisamment grand, entraîné conjointement, peut surpasser les modèles spécialisés sur des tâches de niche.
2. Innovations Architecturales pour la Stabilité MoE : Introduction du Grouped Routing et du Straight-Through Estimator pour permettre l'entraînement stable et efficace de modèles MoE massifs avec un équilibrage de charge parfait.
3. Pipeline de Données Scientifiques de Haute Qualité : Création d'un pipeline automatisé générant des légendes denses et précises pour les figures scientifiques, résolvant le problème de l'alignement image-texte dans la littérature scientifique.
4. Infrastructure d'Entraînement RL Optimisée : Développement d'un cadre de RL en précision mixte (FP8/BF16/FP32) garantissant la cohérence entre l'entraînement et l'inférence, essentiel pour les modèles de cette taille.
5. Intégration Multimodale Native : Ajout d'encodeurs spécialisés pour les séries temporelles et l'utilisation de FoPE pour mieux modéliser les signaux physiques.

5. Signification et Impact

Intern-S1-Pro marque un tournant dans le domaine de l'IA pour la science (AI4S). Il démontre que l'échelle (scaling) combinée à une architecture soigneusement conçue et à des données de haute qualité permet de créer un "Généraliste Spécialisable".

• Paradigme de l'IA Scientifique : Le modèle prouve qu'il n'est pas nécessaire de maintenir des centaines de modèles spécialisés ; un modèle fondation unique peut maîtriser plus de 100 tâches scientifiques critiques tout en conservant des capacités générales de haut niveau.
• Accélération de la Découverte : En intégrant la chimie, la biologie, la science des matériaux et les sciences de la Terre, ce modèle offre un outil puissant pour automatiser l'analyse de la littérature, la prédiction de structures et la conception de nouveaux matériaux.
• Open Source : La disponibilité du modèle (via Hugging Face) et des outils associés (XTuner, LMDeploy) permet à la communauté scientifique mondiale d'accéder à des capacités de pointe, favorisant l'innovation collaborative dans la recherche scientifique.

En conclusion, Intern-S1-Pro établit une nouvelle référence pour les modèles fondation scientifiques, prouvant que la fusion de l'intelligence générale et de l'expertise spécialisée à l'échelle du trillion de paramètres est non seulement possible, mais supérieure aux approches actuelles.