Technische Samenvatting: Intern-S2-Mobius: Foundation Model met Ontkoppelde Kennis en Redenering

1. Probleemstelling

De ontwikkeling van Foundation Models staat momenteel voor een dubbele flessenhals. Ten eerste nadert de heersende Scaling Law de afnemende marginale meeropbrengst; het simpelweg vergroten van modelparameters, trainingsdata of de lengte van de redeneerketens levert progressief kleinere verbeteringen in capaciteit op tegen exponentieel hogere kosten. Ten tweede hebben pogingen om de architecturale complexiteit te verminderen (bijv. lineaire aandacht, SSM's) om de efficiëntie te verbeteren, vaak geleid tot een aanzienlijk verlies aan capaciteit, waardoor ze ongeschikt zijn voor commerciële implementatie. Het kernproblek is de strakke koppeling van kennisopslag (Feed-Forward Networks) en redeneeroperatoren (Self-Attention) binnen de hiërarchische, unidirectionele structuur van de Transformer. Deze koppeling dwingt modellen om afhankelijk te zijn van token-gemedieerde, iteratieve generatie om toegang te krijgen tot diepliggende kennis in de lagen, wat leidt tot inefficiënte berekeningen en excessieve token-redundantie.

Daarentegen leiden pogingen om de lengte van de 'chain of thought' (CoT) te verkorten tot langere, verbale en redundante outputs die de inferentie-efficiëntie verslechteren.

2. Methodologie: De Mobius-architectuur

Om deze beperkingen aan te pakken, stellen de auteurs Mobius voor, een architectuur die kennis en redenering ontkoppelt. Het ontwerp is gebaseerd op twee primaire innovaties:

2.1. Ontkoppelde Kennis en Redenering

In tegenstelling tot de Transformer, waarbij Feed-Forward Networks (FFN) aan specifieke lagen gebonden zijn, introduceert Mobius:

• Globaal Gedeelde Geheugen (FFN): Een enkele, massieve kennisvectordatabase die gedeeld wordt over alle lagen, geconstrueerd via horizontale concatenatie (en bloksgewijze partitionering analoog aan MoE op grotere schaal) van kennisvectoren. Dit fungeert als een depot voor kennisvectoren.
• Meerdere Redeneerders (Self-Attention): Verschillende Self-Attention modules die iteratief de gedeelde geheugens opvragen.
• Mechanisme: Redeneerders gebruiken verborgen toestanden (hidden states) als cache en drager, waarbij ze herhaaldelijk het geheugen bevragen voor vereiste kennisvectoren. Kennis wordt teruggegeven aan de redeneeroperators, wat compositorische redenering mogelijk maakt zonder de rigide laag-voor-laag beperkingen van Transformers.

2.2. Ingebouwde Architecturale Talenten

De ontkoppeling maakt twee specifieke capaciteiten mogelijk:

1. Backward Residual Connection: In standaard Transformers zijn residual connections unidirectioneel (van ondiep naar diep). Het gedeelde geheugen van Mobius stelt diepe lagen in staat om toegang te krijgen tot kennis uit ondiepe lagen (en vice versa) tijdens de forward propagatie. Dit wordt indirect bereikt door alle lagen toegang te verlenen tot hetzelfde globale depot, wat compositorische generalisatie versterkt en de synthese van informatie versnelt.
2. Dynamische Latente Redenering: Mobius internaliseert deliberatie, trial-and-error en verfijning binnen de optimalisatie van continue vectoren in plaats van discrete tokens.
   • Hogere Loopfrequentie: Iteraties vinden plaats binnen aanzienlijk minder lagen vergeleken met traditionele latente redenering.
   • Hoog-Dichtelijke Latenten: Het model verkrijgt gezamenlijke representaties van meerdere tokens tegelijkertijd via compacte, continue vectoren.
   • Dynamische Allocatie: Het computationele budget wordt dynamisch toegewezen aan verschillende tokens, waardoor het model meerdere tokens in één burst kan decoderen na het verfijnen van hoog-informatiedichtelijke latenten.

2.3. Implementatiedetails

• Constructie van het Kennisdepot: De FFN wordt geconstrueerd via horizontale concatenatie van kennisvectoren. Om de parameterschaal en activatie-efficiëntie te beheren, gebruiken de auteurs een bloksgewijze partitioneringstechniek (analoog aan MoE) met sparse activatie tijdens de forward propagatie.
• Trainingsstrategie: De auteurs evalueerden Mobius via twee paden:
  1. Training-from-Scratch (TFS): Een 7B model getraind op 1TB tokens.
  2. Continual Pre-Training (CPT): Startend vanaf het Qwen3.5-35B checkpoint, gevolgd door continue pre-training op 1TB tokens, gevolgd door Supervised Fine-Tuning (SFT) en Reinforcement Learning (RL).

3. Belangrijkste Resultaten

3.1. Data-efficiëntie (Training-from-Scratch)

• Een 7B Mobius model getraind vanaf scratch bereikte MMLU-scores vergelijkbaar met een 7B Transformer baseline.
• Cruciaal is dat Mobius deze prestaties bereikte met slechts 62,6% van de trainingsdata die nodig was door de Transformer baseline, wat een 1,6× verbetering in data-efficiëntie aantoont.

3.2. Inferentie-efficiëntie en Prestaties (Continual Pre-Training)

• Prestatie-gelijkwaardigheid: De Intern-S2-Mobius-35B (continually pre-trained van Qwen3.5-35B) behaalde vergelijkbare of superieure scores op downstream benchmarks (bijv. MMLU Pro, GPQA Diamond, IMO Bench, AIME 2026) vergeleken met de Qwen3.5-35B baseline.
• Inferentie-versnelling: Intern-S2-Mobius leverde een bijna 4× end-to-end inferentie-versnelling vergeleken met de Transformer baseline met hetzelfde aantal parameters.
• Verminderde Outputlengte: De versnelling wordt primair gedreven door aanzienlijk kortere redeneerketens. Gemiddeld genereerde Mobius 1,2× tot 5,0× minder tokens dan de Transformer baseline over diverse benchmarks (bijv. 4,6× korter op MMLU Pro).
• Token-efficiëntie: In een stap-gealigneerde vergelijking op een lineaire algebra-probleem voltooide Mobius dezelfde redeneerstappen met 516 tokens vergeleken met 2.364 tokens voor de Transformer, voornamelijk door het elimineren van herhaalde afleidingen en redundante controles.

4. Betekenis en Claims

Het artikel claimt dat Mobius een alternatief pad biedt voor het opschalen van AI: het verhogen van de architecturale complexiteit om het plafond van de intelligentie van het model te verhogen, waardoor de end-to-end overhead wordt verminderd.

• Efficiëntie via Dichtheid: Door over te stappen van token-gebaseerde redenering naar latente, hoog-dichtelijke redenering, bereikt Mobius substantiële efficiëntiewinsten zonder capaciteit op te offeren.
• Bidirectionale Kennistoegang: De introductie van de "Backward Residual Connection" via gedeeld geheugen lost de beperking van de unidirectionele informatiestroom van Transformers op, wat zorgt voor flexibelere en efficiëntere kennisretrieval.
• Toekomstig Potentieel: De auteurs stellen dat de ontkoppeling van kennis en redenering voorlopige kenmerken biedt die kunnen ondersteunen:
  • Zelf-evoluerende Systemen: Het mogelijk maken dat modellen nieuwe vaardigheden verwerven zonder catastrofale vergetelheid van eerdere kennis, hoewel gezamenlijk ontwerp van foundation models, agentic systemen en omgevingsfeedback vereist is voor validatie.
  • Wereldmodellen (World Models): Het bieden van een sterkere prior voor het modelleren van inputs in de continue ruimte vergeleken met Transformers, hoewel de latente redeneerprior "mogelijk verre van voldoende zal zijn" en waarschijnlijk herontwerp van het aandachtsmechanisme vereist.
  • Wetenschappelijke Ontdekking: Het faciliteren van de compositie en generalisatie van kennis over domeinen om disruptieve hypothesen te genereren, hoewel prestaties in de echte wereld gezamenlijke optimalisatie van data, infrastructuur en algoritmen vereisen.
  • Hardware-Software Co-Design: Het openen van de mogelijkheid voor een deployment-strategie waarbij redeneerparameters in het GPU-geheugen verblijven terwijl kennisparameters op SSD's worden opgeslagen en op aanvraag worden geladen. De auteurs merken echter op dat deze visie "nog gerealiseerd moet worden" en aanzienlijke inspanning vereist.

Het artikel concludeert dat hoewel Mobius veelbelovende resultaten laat zien wat betreft efficiëntie en capaciteit, het volledige potentieel in real-world scenario's (zelfevolutie, wereldmodellering, wetenschappelijke ontdekking) verdere gezamenlijke optimalisatie van data, infrastructuur en trainingsalgoritmen vereist.