Intern-S1-Pro: Scientific Multimodal Foundation Model at Trillion Scale

Dit paper introduceert Intern-S1-Pro, het eerste multimodale fundamentele wetenschappelijke model met een omvang van één biljoen parameters dat, dankzij geavanceerde infrastructuur voor RL-training, zowel toonaangevende algemene intelligentie als ongeëvenaarde expertise in meer dan 100 gespecialiseerde wetenschappelijke taken combineert.

De kern

🚀 De "Super-Geleerde" van de Toekomst: Intern-S1-Pro

Stel je voor dat je een school hebt met één miljard studenten. De meeste studenten zijn slimme generalisten: ze kunnen wiskunde, geschiedenis en poëzie. Maar er is een nieuw type school opgericht: Intern-S1-Pro.

Dit is geen gewone school. Het is een triljoen-parameter model. Dat klinkt als een enorm getal, maar in het Engels betekent het simpelweg: "Dit model is zo groot dat het de kennis van bijna alle wetenschappers ter wereld in één brein heeft samengevoegd."

Het doel? Om niet alleen een slimme chatbot te zijn, maar een wetenschappelijke superheld die chemie, biologie, aardwetenschappen en materialenkunde begrijpt, terwijl hij tegelijkertijd nog steeds een gewone conversatie kan voeren.

Hier zijn de vier belangrijkste stukken van dit verhaal:

1. De Bouwplaat: Hoe maak je iets zo groot? (De Architectuur)

Normaal gesproken bouw je een groot brein door het simpelweg groter te maken. Maar als je dat doet, wordt het chaotisch. Het is alsof je een orkest van 10.000 muzikanten probeert te dirigeren zonder dat ze op elkaar kunnen wachten; de trompettisten spelen te hard, de violisten te zacht, en het wordt een lawaai.

De makers van Intern-S1-Pro hebben een slimme truc bedacht, genaamd "Groepsroutering" (Group Routing):

• De Analogie: In plaats van dat elke muzikant (een 'expert') zelf beslist wanneer hij moet spelen, hebben ze de muzikanten in groepen verdeeld. Binnen elke groep is er een strikte regeling: "Jullie spelen allemaal even hard."
• Het Resultaat: Hierdoor werkt het hele orkest perfect synchroon. Geen enkele groep wordt overbelast, en er is geen gevaar dat de computer (het podium) in brand vliegt door te veel data tegelijk. Dit maakt het trainen van een zo groot model stabiel en veilig.

2. De Oefeningen: Hoe leer je wetenschap? (De Data)

Een groot brein heeft goede oefenboeken nodig. Normale AI-modellen leren van internetberichten en foto's van katten. Maar voor wetenschap zijn die boeken niet goed genoeg. Een foto van een chemische formule op een website heeft vaak een korte, saaie bijschriftje: "Figuur 1: Reactie."

De makers van Intern-S1-Pro hebben een nieuwe manier van leren bedacht:

• De Analogie: Stel je voor dat je een student moet leren lezen, maar je geeft hem alleen krantenknipsels met halve zinnen. Hij zal nooit leren wat er echt staat.
• De Oplossing: Ze hebben een speciale machine (een 'caption pipeline') gebouwd die wetenschappelijke PDF's openslaat. Deze machine leest de grafieken, formules en diagrammen en schrijft er uitgebreide, gedetailleerde verhalen bij.
  • Voorbeeld: In plaats van "Figuur 1", leert het model: "Deze grafiek toont hoe de temperatuur stijgt naarmate de druk afneemt, met een piek bij 50 graden die aangeeft..."
• Hierdoor heeft het model 6 biljoen woorden aan specifieke wetenschappelijke kennis geleerd, niet alleen algemene praatjes.

3. De Superkracht: Van "Weten" naar "Doen" (Agenten & Redeneren)

Vroeger konden AI's alleen antwoorden op vragen. Intern-S1-Pro kan plannen en uitvoeren.

• De Analogie: Een oude AI is als een boek dat je kunt raadplegen. Intern-S1-Pro is als een internist die ook een assistent heeft.
• Als je vraagt: "Ontwerp een nieuw medicijn tegen malaria," doet hij niet alleen alsof hij het antwoord weet. Hij:
  1. Zoekt in databases naar moleculen.
  2. Simuleert hoe ze reageren.
  3. Schrijft een rapport.
  4. En controleert of zijn eigen berekeningen kloppen.
• Het is een "Specialist die ook een Generalist is". Hij is zo goed in de algemene wereld dat hij de specialistische wereld beter begrijpt dan de echte specialisten.

4. De Proef: Werkt het echt? (De Resultaten)

De makers hebben het model getest tegen de beste AI's ter wereld (zoals die van Google en OpenAI) en tegen speciale wetenschaps-AI's.

• Het Resultaat: Intern-S1-Pro heeft de andere modellen verslagen in bijna elke wetenschappelijke test.
• De Vergelijking: Het is alsof je een olympisch atleet (de grote AI) laat meedoen aan een schaaktoernooi. Je zou denken dat de atleet slecht is, maar omdat hij zo goed getraind is in leren, wint hij van de schaakmeesters.
• Zelfs in heel specifieke taken, zoals het voorspellen van hoe een nieuw materiaal zich gedraagt of het analyseren van DNA, scoort hij hoger dan modellen die alleen voor die ene taak zijn gemaakt.

🎯 Samenvatting in één zin

Intern-S1-Pro is een gigantisch, slim brein dat is opgeleid met een speciale methode om wetenschappelijke grafieken en formules te "lezen" alsof het een verhaal is, waardoor het nu beter is in het oplossen van complexe wetenschappelijke problemen dan welke andere AI ook, terwijl hij tegelijkertijd nog steeds een normaal gesprek met je kan voeren.

Het bewijst dat als je een brein groot genoeg maakt en het de juiste manier leert, het niet alleen een "algemene" assistent is, maar de ultieme wetenschappelijke partner.

Technische samenvatting

Titel: Intern-S1-Pro: Wetenschappelijk Multimodaal Fundamenteel Model op Triljoen-Schaal

1. Het Probleem

De huidige landschap van kunstmatige intelligentie voor wetenschap (AI4S) staat voor uitdagingen bij het modelleren van de enorme diversiteit binnen wetenschappelijke domeinen. Wetenschap omvat gespecialiseerde velden zoals chemie, biologie, fysica en aardwetenschappen, elk met eigen "talen", notaties en redeneerpatronen.

• Beperkingen van bestaande modellen: Bestaande modellen zijn vaak te klein om deze diversiteit te beheersen, of ze zijn te gespecialiseerd en missen algemene redeneer- en multimodale vaardigheden.
• Schalingsuitdagingen: Het vergroten van het model naar een triljoen parameters (1T) introduceert ernstige technische problemen, zoals instabiliteit tijdens training door onbalans in de belasting van experts (in MoE-architecturen) en het moeilijk optimaliseren van router-embeddings.
• Data-kwaliteit: Er is een gebrek aan hoogwaardige, nauwkeurig uitgelijnde beeld-tekstparen voor wetenschappelijke figuren in bestaande datasets. Bestaande bijschriften zijn vaak vaag en niet specifiek genoeg voor complexe wetenschappelijke visualisaties.
• Integratie van data: Het mengen van gestructureerde wetenschappelijke data met algemene taaldata leidt vaak tot "distributieveranderingen" en negatieve overdracht, wat de logische consistentie van het model verstoort.

2. Methodologie

Intern-S1-Pro is het eerste wetenschappelijke multimodale fundamentele model met één triljoen parameters. De ontwikkeling rust op drie pijlers: architectuur, data-pipelines en trainingsstrategie.

A. Architectuur: SAGE Framework en MoE-uitbreiding

• Expert Uitbreiding: Het model is afgeleid van Intern-S1 door de uitbreiding van experts (Mixture-of-Experts).
• Groeps-Routing (Grouped Routing): Om load-balancing-problemen bij Expert Parallelism (EP) op te lossen, worden experts verdeeld in groepen. Binnen elke groep wordt alleen de Top-1 (of Top-2) expert geselecteerd. Dit zorgt voor absolute load-balancing over apparaten en elimineert het risico op Out-of-Memory (OOM) fouten tijdens training.
• Straight-Through Estimator (STE): Voor het routeren van experts wordt STE gebruikt. Dit maakt het mogelijk om gradients door de volledige dichte softmax-verdeling te laten stromen tijdens de backpropagation, terwijl de forward-pass spaarzaam blijft. Dit verbetert de stabiliteit en convergentie van de router.
• Specifieke Encoders:
  • Vision Encoder: Een Native Vision Transformer (ViT) die afbeeldingen op hun oorspronkelijke resolutie verwerkt, behoudend fijnkorrelige ruimtelijke informatie.
  • FoPE (Fourier Position Encoding): In plaats van traditionele positiële encoding, gebruikt FoPE Fourier-analyse om zowel de discrete deeltjes-natuur van tokens als de continue golf-achtige eigenschappen van fysieke signalen te modelleren.
  • Tijdreeks-Encoder: Een module met adaptieve subsampling en dynamische patching om tijdreeksen van verschillende lengtes en frequenties (bijv. EEG, ECG) uniform te verwerken zonder informatieverlies.

B. Data-Pipeline en Captioning

• Wetenschappelijke Caption Pipeline: Een geautomatiseerde pipeline (gebaseerd op MinerU2.5) extrahert figuren uit PDF's en genereert hoogwaardige, dichte bijschriften. In plaats van korte beschrijvingen, worden figuren gedetailleerd beschreven (assen, legenda's, trends) met behulp van gespecialiseerde modellen (InternVL3.5 en CapRL).
• Data-Integratie: Om conflicten tussen wetenschappelijke en algemene data te voorkomen, worden drie strategieën toegepast:
  1. Gestructureerde Transformatie: Wetenschappelijke tabellen en lijsten worden omgezet in narratieve tekst.
  2. Diversificatie: Prompt-variatie en "Rollout"-mechanismen voorkomen overfitting op herhalende wetenschappelijke patronen.
  3. Systeem Prompt Isolatie: Wetenschappelijke en algemene data krijgen verschillende systeemvoorvoegsels tijdens training om contextuele conflicten te minimaliseren.

C. Training en Reinforcement Learning (RL)

• Stabiele Mixed-Precision RL: Voor de RL-fase wordt een FP8-mixed-precision schema gebruikt. Om de discrepantie tussen training (XTuner) en inferentie (LMDeploy) te minimaliseren, worden technieken zoals rollout router replay (om expert-selectie consistent te houden) en dubbele importance sampling toegepast. Dit zorgt voor stabiliteit op de 1T-schaal.

3. Belangrijkste Bijdragen

1. Eerste 1-Triljoen Parameter Wetenschappelijk Model: Intern-S1-Pro is het eerste open-source model van deze schaal dat specifiek is ontworpen voor wetenschappelijke taken, terwijl het algemene vaardigheden behoudt.
2. Groeps-Routing Mechanisme: Een innovatieve oplossing voor load-balancing in grote MoE-modellen die training instabiliteit en OOM-risico's oplost.
3. Gespecialiseerde Data-Pipeline: Een robuust systeem voor het genereren van dichte, nauwkeurige bijschriften voor wetenschappelijke figuren, wat de visuele begripsvaardigheid aanzienlijk verbetert.
4. FoPE en Tijdreeks-Modules: Nieuwe architecturale componenten die de modellering van fysieke signalen en tijdreeksen verbeteren, essentieel voor wetenschappelijke toepassingen.
5. Validatie van de "Specializable Generalist": Het paper bewijst dat een zeer groot algemeen model, wanneer correct getraind, gespecialiseerde modellen kan overtreffen in niche-taken, in plaats van dat gespecialiseerde modellen noodzakelijkerwijs beter zijn.

4. Resultaten

De evaluatie omvat zowel wetenschappelijke als algemene benchmarks:

• Wetenschappelijke Taken: Intern-S1-Pro presteert aanzienlijk beter dan gespecialiseerde modellen en leidende gesloten bronmodellen (zoals GPT-5.2 en Gemini-3-Pro).
  • SciReasoner: 55.5 (vs. 14.7 voor Gemini-3-Pro).
  • SmolInstruct (Chemie): 74.8.
  • MatBench (Materialen): 72.8.
  • Tijdreeks (SciTS): Overweldigende superioriteit op taken zoals EAU01 (99.5 F1-score vs. ~67 voor concurrenten).
• Algemene Taken: Het model behoudt sterke prestaties in algemene redenering en multimodale taken.
  • AIME-2025 (Wiskunde): 93.1.
  • MMLU-Pro: 86.6.
  • Agent Capabilities: Sterke prestaties op GAIA (77.4) en ScreenSpot V2 (93.6), wat aantoont dat het model complexe workflows kan plannen en uitvoeren.
• Vergelijking met Intern-S1: Er is een significante verbetering in zowel algemene vaardigheden als de dekking van wetenschappelijke taken, met name door de nieuwe agent- en tijdreeks-capaciteiten.

5. Betekenis en Impact

Intern-S1-Pro markeert een mijlpaal in de ontwikkeling van AI voor wetenschap (AI4S). Het paper demonstreert dat:

• Schalen werkt: Het vergroten van modelparameters, in combinatie met geavanceerde architecturale innovaties (zoals Grouped Routing), leidt tot superieure prestaties in zowel algemene als zeer gespecialiseerde domeinen.
• Unificatie mogelijk is: Een enkel model kan fungeren als een "Specializable Generalist", wat de noodzaak elimineert om honderden gescheiden modellen te onderhouden voor elke wetenschappelijke sub-discipline.
• Infrastructuur cruciaal is: De samenwerking tussen XTuner en LMDeploy maakt efficiënte training en inferentie op triljoen-schaal mogelijk, wat een blauwdruk biedt voor toekomstige grote modellen.

Deze doorbraak opent de deur naar geautomatiseerde wetenschappelijke ontdekkingen, van het voorspellen van eiwitstructuren tot het analyseren van complexe aardwetenschappelijke data, met een nauwkeurigheid en diepgang die voorheen alleen door gespecialiseerde menselijke experts kon worden bereikt.