Intern-S2-Preview: Scientific Agentic Foundation Model
El artículo presenta Intern-S2-Preview, una serie de modelos fundacionales de agentes científicos entrenados mediante un proceso especializado de preentrenamiento multimodal y un flujo de postentrenamiento unificado que cuenta con aprendizaje por refuerzo avanzado y arquitecturas aumentadas por memoria para lograr un rendimiento de vanguardia en razonamiento científico, interacción con herramientas y tareas de largo alcance.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que estás intentando enseñar a un robot a ser un científico. En el pasado, le dábamos a los robots grandes bibliotecas de texto y les pedíamos que respondieran preguntas como un concursante de un programa de concursos. Pero la ciencia real no es un concurso; es una aventura larga y desordenada. Implica mirar imágenes extrañas de células, leer gráficos que se mueven como latidos del corazón, usar herramientas informáticas para realizar experimentos y pensar en un problema durante horas sin perderse. Este artículo trata sobre la construcción de un nuevo tipo de "supercerebro" para robots que no solo memoriza hechos, sino que realmente hace ciencia. Está diseñado para comprender imágenes complejas, predecir números futuros y actuar como un detective que puede usar herramientas para resolver misterios durante un largo periodo de tiempo. La gran idea es que, para ser un verdadero asistente científico, una IA necesita ser capaz de hacer malabares con diferentes tipos de información (como texto, imágenes y números) y seguir trabajando constantemente en un problema difícil sin rendirse o confundirse.
El equipo detrás de este proyecto, del Shanghai AI Laboratory, presenta una nueva familia de modelos de IA llamada Intern-S2-Preview. Piensa en este modelo como un científico "generalista" masivo de 397 mil millones de parámetros que ha leído casi todos los artículos científicos escritos. Pero en lugar de solo estar ahí sentado sabiendo cosas, este modelo está construido para actuar. Puede mirar un diagrama científico, comprender la historia detrás de él y luego usar herramientas informáticas para ejecutar simulaciones o escribir código para probar una hipótesis.
Así es como construyeron este supercientífico:
Primero, enseñaron al modelo mostrándole millones de documentos científicos, pero no solo el texto. Le mostraron las páginas reales, con todas las imágenes, gráficos y ecuaciones en su diseño original. Es como enseñar a un estudiante entregándole el libro de texto completo, incluyendo los diagramas, en lugar de solo leerle el texto en voz alta. Esto ayuda al modelo a comprender cómo los científicos presentan realmente sus ideas.
Luego, le dieron al modelo una habilidad especial de "viaje en el tiempo". La mayoría de los modelos de IA son malos prediciendo qué sucede después en una secuencia de números (como patrones climáticos o precios de acciones). Intern-S2-Preview recibió una actualización dedicada para manejar estos datos de "series temporales". Ahora puede mirar una larga línea de números y pronosticar con precisión qué sucederá después, lo cual es crucial para cosas como predecir el cambio climático o analizar señales cerebrales.
Uno de los trucos más geniales que utilizaron se llama el Decodificador de Memoria (Memory Decoder). Imagina que el cerebro principal de 397 mil millones de parámetros es un brillante generalista que sabe un poco de todo. Pero, ¿qué pasa si necesitas un experto en un campo diminuto, como la biología? En lugar de reentrenar todo el cerebro gigante (lo cual sería lento y podría hacer que olvidara otras cosas), le adjuntaron un pequeño "cuaderno especializado" llamado el Decodificador de Memoria. Este cuaderno contiene conocimientos específicos de biología. Cuando la IA necesita responder una pregunta de biología, consulta este cuaderno. ¿El resultado? Las puntuaciones de biología del modelo saltaron de 56.92 a 60.32, mientras que su conocimiento general se mantuvo exactamente igual. Es como tener un amigo genio que puede sacar instantáneamente un manual especializado cada vez que le haces una pregunta específica, sin necesidad de ir a la escuela para obtener un nuevo título.
El equipo también enseñó al modelo a ser un agente de largo alcance (long-horizon agent). Esto significa que la IA puede planificar una misión de varios pasos. En lugar de solo responder "¿Cuál es la capital de Francia?", se le puede pedir que "Diseñe un nuevo fármaco". Podría entonces: 1) buscar investigaciones existentes, 2) escribir código para simular el comportamiento del fármaco, 3) ejecutar la simulación, 4) darse cuenta de que falló, 5) ajustar el código y 6) intentarlo de nuevo. El artículo muestra que, mediante el uso de un método de entrenamiento especial llamado "aprendizaje por refuerzo", el modelo aprendió a manejar estos flujos de trabajo largos y complejos sin quedarse estancado o cometer errores tontos.
Cuando probaron Intern-S2-Preview-397B, le fue increíblemente bien. En pruebas que miden qué tan bien entiende la biología, la química y la física, superó a muchos otros modelos de primer nivel. Fue particularmente bueno leyendo gráficos científicos y prediciendo datos de series temporales, superando a menudo a modelos que son mucho más grandes o especializados solo para esas tareas. Por ejemplo, en una prueba llamada Biology-Instructions, obtuvo 56.92, y con el Decodificador de Memoria adjunto, mejoró a 60.32. En pruebas de razonamiento general como MMLU-Pro, obtuvo 89.75, que es lo mejor entre los modelos de código abierto.
Sin embargo, los autores tienen cuidado en llamar a esto una "Vista Previa" (Preview). Es una herramienta nueva y poderosa, pero aún no es perfecta. Señalan que, aunque el modelo es excelente conectando el razonamiento con la acción, todavía hay trabajo por hacer para hacerlo aún más confiable en flujos de trabajo científicos muy largos y complejos. También enfatizan que este modelo es una base —un punto de partida que puede adaptarse con diferentes "cuadernos de memoria" para diferentes campos científicos sin necesidad de reconstruir todo el cerebro.
En resumen, este artículo presenta un nuevo tipo de IA que está lista para ir más allá de solo responder preguntas y comenzar a realizar el trabajo real del descubrimiento científico, desde leer gráficos complejos hasta ejecutar experimentos largos, todo mientras mantiene intacto su conocimiento general y mantiene sus habilidades especializadas afiladas.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.