Intern-S2-Preview: Scientific Agentic Foundation Model
이 논문은 과학적 추론, 도구 상호작용 및 장기 과제 수행에서 최첨단 성능을 달و하기 위해 고급 강화 학습과 메모리 증강 아키텍처를 특징으로 하는 특화된 멀티모달 사전 학습 및 통합 사후 학습 파이프라인을 통해 훈련된 일련의 과학적 에이전트 기반 파운데이션 모델인 Intern-S2-Preview를 소개한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
로봇에게 과학자가 되는 법을 가르치려 한다고 상상해 보세요. 과거에는 로봇에게 방대한 텍스트 라이브러리를 주고 퀴즈 쇼 참가자처럼 질문에 답하게 했습니다. 하지만 진짜 과학은 퀴즈가 아니라, 복잡하고 긴 모험입니다. 그것은 세포의 기이한 사진을 보고, 심장 박동처럼 꿈틀거리는 그래프를 읽고, 컴퓨터 도구를 사용하여 실험을 수행하며, 길을 잃지 않고 몇 시간 동안 문제에 대해 고민하는 과정을 포함합니다. 이 논문은 단순히 사실을 암기하는 것이 아니라, 실제로 '과학을 하는' 새로운 종류의 로봇용 "슈퍼 브레인"을 구축하는 것에 관한 것입니다. 이 모델은 복잡한 이미지를 이해하고, 미래의 수치를 예측하며, 미스터리를 풀기 위해 도구를 사용할 수 있는 탐정처럼 행동하도록 설계되었습니다. 핵심 아이디어는 진정한 과학적 조수가 되기 위해서 AI가 텍스트, 이미지, 숫자와 같은 다양한 유형의 정보를 다룰 수 있어야 하며, 포기하거나 혼란에 빠지지 않고 어려운 문제를 지속적으로 수행할 수 있어야 한다는 것입니다.
이 프로젝트를 이끄는 팀(상하이 AI 연구소)은 Intern-S2-Preview라는 새로운 AI 모델 제품군을 소개합니다. 이 모델을 거의 모든 과학 논문을 읽은, 3,970억 개의 파라미터를 가진 거대한 "제너럴리스트(일반 전문가)" 과학자라고 생각해보세요. 하지만 이 모델은 단순히 지식을 알고 있는 데 그치지 않고, '행동'하도록 만들어졌습니다. 이 모델은 과학적 도표를 보고 그 뒤에 숨겨진 이야기를 이해한 다음, 시뮬레이션을 실행하거나 가설을 테스트하기 위해 코드를 작성하는 등의 컴퓨터 도구를 사용할 수 있습니다.
그들이 이 슈퍼 과학자를 만든 방법은 다음과 같습니다.
첫째, 그들은 모델에게 수백만 개의 과학 문서를 가르쳤는데, 단순히 텍스트만 보여준 것이 아닙니다. 그들은 모든 그림, 차트, 방정식이 원래의 레이아웃대로 포함된 실제 페이지 자체를 보여주었습니다. 이는 학생에게 텍스트를 소리 내어 읽어주는 대신, 도표를 포함한 교과서 전체를 건네주며 가르치는 것과 같습니다. 이를 통해 모델은 과학자들이 실제로 자신의 아이디어를 어떻게 제시하는지 이해할 수 있게 됩니다.
그다음, 그들은 모델에게 특별한 "시간 여행" 기술을 부여했습니다. 대부분의 AI 모델은 수치의 시퀀스(예: 날씨 패턴이나 주식 가격) 다음에 무엇이 올지 예측하는 데 서툽니다. 하지만 Intern-S2-Preview는 이러한 "시계열(time series)" 데이터를 처리하기 위한 전용 업그레이드를 받았습니다. 이제 이 모델은 긴 숫자 배열을 보고 다음에 어떤 일이 일어날지 정확하게 예측할 수 있으며, 이는 기후 변화 예측이나 뇌 신호 분석과 같은 작업에 매우 중요합니다.
그들이 사용한 가장 멋진 기술 중 하나는 **메모리 디코더(Memory Decoder)**라고 불리는 것입니다. 메인 3,970억 파라미터의 뇌가 모든 것에 대해 조금씩 아는 똑똑한 제너럴리스트라고 상상해 보세요. 하지만 생물학처럼 아주 작은 특정 분야의 전문가가 필요하다면 어떻게 될까요? 거대한 뇌 전체를 다시 학습시키는 것은 느리고 다른 지식을 잊게 만들 수 있으므로, 그들은 대신 '메모리 디코더'라는 작고 전문화된 "노트"를 부착했습니다. 이 노트는 특정 생물학 지식을 담고 있습니다. AI가 생물학 질문에 답해야 할 때, 이 노트를 참조합니다. 그 결과는 어떨까요? 모델의 생물학 점수는 56.92에서 60.32로 뛰어올랐지만, 일반적인 지식은 그대로 유지되었습니다. 이는 마치 천재적인 친구가 특정 질문을 받을 때마다 새로운 학위를 따기 위해 학교에 가는 대신, 즉석에서 전문 매뉴얼을 꺼내 보는 것과 같습니다.
팀은 또한 모델에게 **롱 호라이즌 에이전트(long-horizon agent)**가 되는 법을 가르쳤습니다. 이는 AI가 다단계 미션을 계획할 수 있음을 의미합니다. 단순히 "프랑스의 수도는 어디인가?"라는 질문에 답하는 대신, "새로운 약물을 설계하라"는 요청을 받을 수 있습니다. 그러면 모델은 1) 기존 연구를 검색하고, 2) 약물의 거동을 시뮬레이션하기 위한 코드를 작성하고, 3) 시뮬레이션을 실행하고, 4) 실패했음을 깨닫고, 5) 코드를 수정하고, 6) 다시 시도하는 과정을 거칠 수 있습니다. 논문은 "강화 학습(reinforcement learning)"이라는 특별한 훈련 방법을 통해 모델이 길고 복잡한 워크플로우를 수행하면서도 막히거나 어처구니없는 실수를 하지 않도록 학습했음을 보여줍니다.
Intern-S2-Preview-397B를 테스트했을 때, 성능은 놀라웠습니다. 생물학, 화학, 물리학 이해도를 측정하는 테스트에서 많은 상위 모델들을 능가했습니다. 특히 과학적 차트를 읽고 시계열 데이터를 예측하는 데 탁월했으며, 훨씬 더 크거나 해당 작업에만 특화된 모델들보다 높은 성능을 보이는 경우가 많았습니다. 예를 들어, Biology-Instructions 테스트에서 56.92점을 기록했는데, 메모리 디코더를 부착하자 60.32점으로 향상되었습니다. MMLU-Pro와 같은 일반 추론 테스트에서는 89.75점을 기록하며 오픈 소스 모델 중 최고 수준을 보였습니다.
하지만 저자들은 이것을 "프리뷰(Preview)"라고 부르는 데 주의를 기울였습니다. 이것은 강력한 새로운 도구이지만 아직 완벽하지는 않습니다. 그들은 모델이 추론을 행동으로 연결하는 데는 뛰어나지만, 매우 길고 복잡한 과학적 워크플로우에서 더욱 신뢰성을 높이기 위해 여전히 할 일이 남아 있다고 언급했습니다. 또한, 이 모델은 하나의 기초(foundation)이며, 전체 뇌를 다시 구축할 필요 없이 다양한 "메모리 노트"를 통해 다양한 과학 분야에 적응할 수 있는 시작점임을 강조했습니다.
요약하자면, 이 논문은 질문에 답하는 것을 넘어 복잡한 그래프를 읽고 긴 실험을 수행하는 등 실제 과학적 발견의 업무를 수행할 준비가 된 새로운 종류의 AI를 제시합니다. 이 과정에서 모델은 자신의 일반적인 지식을 유지하면서도 전문적인 기술을 날카롭게 유지할 수 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.