Intern-S1-Pro: Scientific Multimodal Foundation Model at Trillion Scale

El artículo presenta a Intern-S1-Pro, el primer modelo fundacional multimodal científico de un billón de parámetros que, gracias a una infraestructura robusta, combina capacidades generales de vanguardia con un dominio especializado sin precedentes en más de 100 tareas científicas.

Lo esencial

¡Hola! Imagina que acabamos de descubrir un nuevo "supercerebro" digital llamado Intern-S1-Pro. Para explicártelo de forma sencilla, vamos a usar algunas analogías de la vida real.

🧠 ¿Qué es exactamente?

Piensa en la Inteligencia Artificial actual como un estudiante brillante que sabe mucho de todo: puede escribir poemas, resolver problemas de matemáticas y describir fotos. Pero, si le preguntas sobre cómo diseñar un nuevo medicamento o predecir el clima de un volcán, a veces se queda en blanco o comete errores.

Intern-S1-Pro es como ese estudiante brillante que, de repente, decide especializarse en todas las ciencias del mundo al mismo tiempo.

• El tamaño: Es un "gigante". Tiene un billón de parámetros (piensa en esto como si tuviera un millón de libros de texto en su cerebro, en lugar de solo unos pocos). Es el primer modelo de este tamaño diseñado específicamente para la ciencia.
• La misión: No solo quiere ser bueno en todo, sino que quiere ser el mejor en cosas difíciles como la química, la biología, la ciencia de materiales y la geología.

🏗️ ¿Cómo lo construyeron? (La arquitectura)

Imagina que el cerebro de este modelo es una ciudad gigante con millones de trabajadores (llamados "expertos").

1. El problema del tráfico: En modelos anteriores, si todos los trabajadores querían hacer la misma tarea al mismo tiempo, se producía un atasco terrible y la ciudad se paralizaba.
2. La solución (Enrutamiento por Grupos): Los creadores de Intern-S1-Pro inventaron un sistema de semáforos inteligente. En lugar de dejar que todos elijan su trabajo al azar, organizaron a los trabajadores en grupos. Dentro de cada grupo, solo los mejores especialistas (los "Top 1") hacen el trabajo. Esto asegura que el tráfico fluya perfectamente y que nadie se quede sin trabajo ni se sature. ¡Es como tener una autopista sin atascos!
3. Aprendizaje más rápido: También añadieron un truco para que el cerebro aprenda de sus errores mucho más rápido, incluso cuando tiene que elegir entre tantas opciones.

📚 ¿Cómo aprendió tanto? (Los datos)

Para que este cerebro fuera un genio de la ciencia, no le dieron cualquier libro.

• El problema: Los libros de ciencia en internet a menudo tienen fotos con leyendas muy cortas y confusas (como decir "Gráfico A" sin explicar qué significa).
• La solución (El Traductor Científico): Crearon un equipo de "traductores" (una herramienta de IA) que leyeron millones de artículos científicos y reescribieron las descripciones de las fotos. Ahora, en lugar de decir "Gráfico A", el modelo ve una descripción detallada que explica: "Esta línea azul muestra cómo crece la bacteria cuando se calienta".
• Resultado: El modelo aprendió a "leer" gráficos científicos como si fueran novelas, entendiendo cada detalle.

🧪 ¿Qué puede hacer? (Sus superpoderes)

Este modelo es como un multidisciplinario de élite:

• Ciencia pura: Puede predecir cómo se comportarán nuevos materiales para baterías o ayudar a descubrir nuevas proteínas para curar enfermedades. En pruebas de laboratorio, superó a modelos privados y caros (como los de Google o OpenAI) en tareas científicas específicas.
• Razonamiento: No solo memoriza datos; puede pensar paso a paso. Si le das un problema complejo de física, puede descomponerlo y resolverlo como un científico experto.
• Agente Autónomo: Imagina que le pides: "Investiga por qué se apagó el motor de este cohete". Intern-S1-Pro no solo te da una respuesta; actúa. Puede buscar información, analizar datos, ejecutar simulaciones y escribir un informe completo por sí mismo.
• Series de tiempo: Puede mirar datos que cambian con el tiempo (como el ritmo cardíaco de un paciente o las señales de un terremoto) y entender patrones que a los humanos nos costaría ver.

🌟 El mensaje principal

La gran idea de este trabajo es que no necesitas un cerebro pequeño y especializado para cada cosa. Si construyes un cerebro lo suficientemente grande y lo entrenas bien con datos de alta calidad, puede ser un generalista que sea mejor que cualquier especialista.

Es como si tuvieras a un médico, un ingeniero y un geólogo en una sola persona, y todos ellos trabajaran juntos perfectamente. Intern-S1-Pro es ese "super-científico" listo para ayudarnos a resolver los problemas más grandes de la humanidad, desde el cambio climático hasta nuevas medicinas.

En resumen: Es un gigante de la IA, construido con ingeniería de tráfico inteligente, alimentado con libros de ciencia explicados a fondo, listo para ser tu mejor compañero en el laboratorio del futuro.

Resumen técnico

Resumen Técnico: Intern-S1-Pro

1. Problema y Contexto

El campo de la Inteligencia Artificial para la Ciencia (AI4S) enfrenta desafíos significativos debido a la inmensa diversidad y complejidad de los dominios científicos (química, biología, física, ciencias de la tierra). A diferencia del lenguaje natural, la ciencia utiliza "idiomas" especializados con notaciones, conocimientos y patrones de razonamiento únicos.

• Limitaciones actuales: Los modelos existentes suelen ser o bien generales (con capacidades científicas superficiales) o bien especializados (excelentes en una tarea pero carentes de razonamiento general).
• Desafíos de Escala: Entrenar modelos masivos (trillones de parámetros) para cubrir múltiples disciplinas científicas introduce inestabilidad en el entrenamiento, desequilibrio de carga en arquitecturas Mixture-of-Experts (MoE), y dificultades para optimizar las rutas de enrutamiento (routing).
• Brecha de Datos: Los datos científicos visuales (figuras en PDFs) a menudo carecen de descripciones de texto alineadas y densas, lo que dificulta el entrenamiento de modelos multimodales efectivos.

2. Metodología

Intern-S1-Pro es un modelo fundacional multimodal de un billón (1T) de parámetros diseñado como un "Generalista Especializable". Su desarrollo se basa en el marco SAGE (Synergistic Architecture for Generalizable Experts) y se divide en tres capas: Fundación, Fusión y Evolución.

A. Arquitectura y Escalado (MoE)

• Expansión de Expertos: Derivado de Intern-S1, el modelo expande drásticamente el número de expertos.
• Enrutamiento Agrupado (Grouped Routing): Para resolver el desequilibrio de carga en el paralelismo de expertos (EP), los expertos se dividen en grupos. Dentro de cada grupo, se seleccionan los mejores expertos (Top-1 o Top-2), garantizando un equilibrio de carga absoluto entre dispositivos y eliminando riesgos de Out-of-Memory (OOM).
• Estimador de Paso Directo (Straight-Through Estimator - STE): Se introduce un mecanismo para actualizar todas las embebidas del enrutador en cada paso, incluso para los expertos no seleccionados. Esto permite un flujo de gradiente denso a través de la distribución softmax, mejorando la estabilidad y la convergencia del enrutador.
• Codificadores Especializados:
  • Visión: Utiliza un Vision Transformer (ViT) nativo que procesa imágenes a su resolución original, preservando información espacial fina.
  • FoPE (Fourier Position Encoding): Reemplaza las codificaciones posicionales tradicionales para capturar tanto la naturaleza discreta de los tokens como las características de onda continua de las señales físicas.
  • Codificador de Series Temporales: Un módulo dedicado con submuestreo adaptativo y parches dinámicos para manejar series temporales de larga duración y alta variabilidad (ej. señales fisiológicas, geofísicas).

B. Estrategia de Entrenamiento

• Pre-entrenamiento Continuo: Se entrenó con 6 billones de tokens de datos multimodales.
• Pipeline de Subtítulos Científicos: Se desarrolló un pipeline automatizado para extraer figuras de PDFs científicos y generar descripciones densas y alineadas utilizando modelos de lenguaje grandes (InternVL3.5 y CapRL), superando la escasez de datos de alta calidad.
• Resolución de Conflictos: Se emplean estrategias como la transformación de datos estructurados en texto narrativo, diversificación de prompts y aislamiento de System Prompts para evitar la transferencia negativa entre datos generales y científicos.
• Aprendizaje por Refuerzo (RL) Estable: Se implementó un entrenamiento de RL en precisión mixta (FP8) para modelos MoE masivos. Se asegura la consistencia entre el motor de entrenamiento (XTuner) y el de inferencia (LMDeploy) mediante:
  • Replay de enrutadores (router replay) para mantener la consistencia en la selección de expertos.
  • Muestreo de importancia dual para corregir sesgos de distribución.
  • Cuantización selectiva (FP8 en capas de expertos, BF16 en componentes no expertos, FP32 en la cabeza de lenguaje).

3. Contribuciones Clave

1. Primer Modelo Científico Multimodal de 1T Parámetros: Logra un rendimiento superior tanto en capacidades generales como en más de 100 tareas científicas especializadas.
2. Arquitectura MoE Estable a Gran Escala: La combinación de Grouped Routing y STE permite entrenar modelos de trillones de parámetros de manera eficiente y estable, resolviendo problemas de desequilibrio de carga y optimización de enrutadores.
3. Integración de Inteligencia General y Especializada: Demuestra que un modelo generalista suficientemente grande, entrenado conjuntamente, puede superar a modelos especializados en tareas de nicho, actuando como un "Generalista Especializable".
4. Infraestructura de RL Eficiente: Logra entrenar RL en modelos de 1T parámetros con una eficiencia casi idéntica a la precisión completa (BF16), utilizando FP8 y técnicas de consistencia de ingeniería.
5. Módulos Multimodales Avanzados: Introducción de FoPE para señales físicas y un codificador de series temporales nativo, permitiendo el razonamiento sobre datos científicos complejos (imagen, texto, tiempo).

4. Resultados

Las evaluaciones se realizaron en una amplia gama de benchmarks científicos y generales:

• Rendimiento Científico: Intern-S1-Pro supera a modelos propietarios de vanguardia (como Gemini-3-Pro y GPT-5.2) en múltiples tareas científicas.
  • SciReasoner: 55.5 (vs. 14.7 de Gemini-3-Pro).
  • SmolInstruct (Química): 74.8.
  • MatBench (Materiales): 72.8.
  • Series Temporales (SciTS): Supera significativamente a modelos de texto y visión (ej. 99.5 F1 en EAU01 vs. ~67 de otros modelos).
• Rendimiento General: Mantiene capacidades de primer nivel en tareas generales.
  • AIME-2025 (Matemáticas): 93.1.
  • MMLU-Pro: 86.6.
  • Agentes (GAIA, ScreenSpot): Resultados líderes en planificación y anclaje visual.
• Estudio de Caso (Biología): En tareas de secuencias biológicas, Intern-S1-Pro superó drásticamente a un modelo especializado (Biology-Instruction) entrenado en los mismos datos, obteniendo un promedio de 52.45 vs 39.24, demostrando que la capacidad de razonamiento general potencia el conocimiento especializado.

5. Significado e Impacto

Intern-S1-Pro representa un hito en la evolución de la IA para la ciencia.

• Validación de la Escala: Confirma que escalar modelos a la escala de trillones de parámetros, combinado con un entrenamiento conjunto de datos generales y científicos, es una vía viable y superior para crear sistemas de IA que dominen múltiples disciplinas sin sacrificar la capacidad de razonamiento general.
• Aceleración del Descubrimiento: Al ofrecer un modelo capaz de entender literatura científica, datos experimentales, imágenes y series temporales, se facilita la automatización de flujos de trabajo científicos complejos.
• Eficiencia de Infraestructura: Las innovaciones en el entrenamiento de RL con precisión mixta y el enrutamiento agrupado establecen nuevos estándares para la ingeniería de sistemas de modelos masivos, haciendo posible el entrenamiento de modelos de esta magnitud de manera práctica y estable.

En conclusión, Intern-S1-Pro no solo es un modelo más grande, sino una arquitectura refinada que demuestra la sinergia entre la inteligencia general y el conocimiento especializado, posicionándose como una herramienta fundamental para el futuro de la investigación científica impulsada por IA.