Intern-S2-Preview: Scientific Agentic Foundation Model
O artigo apresenta o Intern-S2-Preview, uma série de modelos fundacionais agentes científicos treinados por meio de um pipeline especializado de pré-treinamento multimodal e pós-treinamento unificado, apresentando aprendizado por reforço avançado e arquiteturas aumentadas por memória para alcançar o estado da arte em raciocínio científico, interação com ferramentas e tarefas de longo horizonte.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está tentando ensinar um robô a ser um cientista. No passado, dávamos aos robôs grandes bibliotecas de texto e pedíamos que respondessem a perguntas como um participante de um programa de perguntas e respostas. Mas a ciência real não é um quiz; é uma aventura longa e caótica. Ela envolve olhar para imagens estranhas de células, ler gráficos que oscilam como batimentos cardíacos, usar ferramentas de computador para realizar experimentos e pensar em um problema por horas sem se perder. Este artigo é sobre a construção de um novo tipo de "supercérebro" para robôs que não apenas memoriza fatos, mas que realmente faz ciência. Ele foi projetado para entender imagens complexas, prever números futuros e agir como um detetive que pode usar ferramentas para resolver mistérios ao longo de um longo período de tempo. A grande ideia é que, para ser um verdadeiro assistente científico, uma IA precisa ser capaz de equilibrar diferentes tipos de informações (como texto, imagens e números) e continuar trabalhando de forma constante em um problema difícil sem desistir ou se confundir.
A equipe por trás deste projeto, do Shanghai AI Laboratory, apresenta uma nova família de modelos de IA chamada Intern-S2-Preview. Pense neste modelo como um cientista "generalista" massivo de 397 bilhões de parâmetros que leu quase todos os artigos científicos já escritos. Mas, em vez de apenas ficar sentado sabendo das coisas, este modelo foi construído para agir. Ele pode olhar para um diagrama científico, entender a história por trás dele e, então, usar ferramentas de computador para rodar simulações ou escrever código para testar uma hipótese.
Aqui está como eles construíram este supercientista:
Primeiro, eles ensinaram o modelo mostrando-lhe milhões de documentos científicos, mas não apenas o texto. Eles mostraram as páginas reais, com todas as imagens, gráficos e equações em seu layout original. É como ensinar um aluno entregando-lhe o livro didático inteiro, incluindo os diagramas, em vez de apenas ler o texto em voz alta. Isso ajuda o modelo a entender como os cientistas realmente apresentam suas ideias.
Depois, eles deram ao modelo uma habilidade especial de "viagem no tempo". A maioria dos modelos de IA é ruim em prever o que acontece a seguir em uma sequência de números (como padrões climáticos ou preços de ações). O Intern-S2-Preview recebeu um upgrade dedicado para lidar com esses dados de "séries temporais". Ele agora consegue olhar para uma longa linha de números e prever com precisão o que acontecerá a seguir, o que é crucial para coisas como prever as mudanças climáticas ou analisar sinais cerebrais.
Um dos truques mais legais que eles usaram é chamado de Decodificador de Memória (Memory Decoder). Imagine que o cérebro principal de 397 bilhões de parâmetros é um generalista brilhante que sabe um pouco sobre tudo. Mas e se você precisar de um especialista em apenas um campo minúsculo, como a biologia? Em vez de retreinar todo esse céreão gigante (o que seria lento e poderia fazer com que ele esquecesse outras coisas), eles anexaram um "caderno" especializado e pequeno chamado Decodificador de Memória. Este caderno contém conhecimentos específicos de biologia. Quando a IA precisa responder a uma pergunta de biologia, ela consulta este caderno. O resultado? As pontuações de biologia do modelo saltaram de 56,92 para 60,32, enquanto seu conhecimento geral permaneceu exatamente o mesmo. É como ter um amigo gênio que pode instantaneamente consultar um manual especializado sempre que você faz uma pergunta específica, sem precisar cursar uma nova graduação.
A equipe também ensinou o modelo a ser um agente de longo horizonte (long-horizon agent). Isso significa que a IA pode planejar uma missão de várias etapas. Em vez de apenas responder "Qual é a capital da França?", ela pode receber o comando para "Projetar um novo medicamento". Ela pode então: 1) pesquisar pesquisas existentes, 2) escrever código para simular o comportamento do medicamento, 3) executar a simulação, 4) perceber que falhou, 5) ajustar o código, e 6) tentar novamente. O artigo mostra que, ao usar um método de treinamento especial chamado "aprendizado por reforço", o modelo aprendeu a lidar com esses fluxos de trabalho longos e complexos sem ficar travado ou cometer erros bobos.
Quando testaram o Intern-S2-Preview-397B, ele se saiu incrivelmente bem. Em testes que medem o quão bem ele entende biologia, química e física, ele superou muitos outros modelos de topo. Ele foi particularmente bom em ler gráficos científicos e prever dados de séries temporais, muitas vezes superando modelos que são muito maiores ou especializados apenas nessas tarefas. Por exemplo, em um teste chamado Biology-Instructions, ele marcou 56,92 e, com o Decodificador de Memória anexado, melhorou para 60,32. Em testes de raciocínio geral como o MMLU-Pro, ele marcou 89,75, que é o melhor entre os modelos de código aberto.
No entanto, os autores são cuidadosos ao chamar isso de uma "Preview" (Prévia). É uma ferramenta poderosa e nova, mas ainda não é perfeita. Eles observam que, embora o modelo seja ótimo em conectar raciocínio à ação, ainda há trabalho a ser feito para torná-lo ainda mais confiável para fluxos de trabalho científicos muito longos e complexos. Eles também enfatizam que este modelo é uma base — um ponto de partida que pode ser adaptado com diferentes "cadernos de memória" para diferentes campos científicos sem a necessidade de reconstruir todo o cérebro.
Em resumo, este artigo apresenta um novo tipo de IA que está pronta para ir além de apenas responder perguntas e começar a realizar o trabalho real da descoberta científica, desde a leitura de gráficos complexos até a execução de experimentos longos, tudo isso mantendo seu conhecimento geral intacto e suas habilidades especializadas afiadas.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.