Federation Is Nearly Free, Reasoning Is Not: Tradeoffs for AI Co-Scientists in Protein Characterization Workflows

현대적인 실험실에서는 피펫을 잡는 대신 대화를 나누는 새로운 형태의 조수가 등장하고 있습니다. 이들은 생물학적 서열을 읽고, 어떤 디지털 도구를 사용할지 결정하며, 복잡한 질문에 대한 답을 조립해낼 수 있는 자율 에이전트인 '공동 과학자(co-scientists)'로서 설계된 인공지능 시스템입니다. 이들은 거대한 목표를 작은 단계로 나누고, 자신의 작업을 검토하며, 경로를 개선해 나가는 방식으로 작동하는데, 이는 마치 가설에서 결론으로 나아가는 인간 연구자의 모습과 흡사합니다. 그러나 이러한 시스템을 구축하는 데에는 어려운 선택이 따릅니다. 한 가지 경로는 불확실성을 통해 추론할 수 있는 거대하고 유연한 언어 모델에 의존하지만, 이는 비용이 많이 들고 느리며 때로는 일관성이 없습니다. 다른 경로는 고전적인 학습 정책(learned policies), 즉 엄격한 규칙을 따르도록 시행착오를 통해 훈련된 시스템을 사용합니다. 이들은 저렴하고 빠르며 완벽하게 일관되지만, 자신의 생각을 설명하거나 새로운 상황에 적응하는 능력은 부족합니다. 과학자들이 이러한 도구들을 다양한 기관과 컴퓨터 네트워크에 배치하기 시작하면서, 중요한 질문이 제기됩니다. 과연 이 에이전트들이 연결된 방식이나 사용하는 특정 '두뇌'가 그들이 따르는 전략보다 더 중요한가 하는 점입니다.

퍼시픽 노스웨스트 국립연구소(Pacific Northwest National Laboratory)의 연구팀은 통제된 환경에서 이러한 서로 다른 접근 방식들을 테스트함으로써 이 질문에 답하고자 했습니다. 그들은 생물학에서 일상적이면서도 필수적인 작업인 단백질 특성 규명에 집중했습니다. 단백질은 살아있는 세포 내에서 특정 역할을 수행하는 분자이며, 그 기능은 종종 구성 요소들의 서열에 의해 결정됩니다. 연구진은 AI 에이전트들에게 단백질 서열을 보고, 서열을 비교하는 데이터베이스나 3D 구조를 예측하는 소프트웨어와 같은 일련의 디지털 도구들을 거쳐 그 기능을 예측하도록 요청했습니다. 연구진은 두 가지 다른 네트워크 설정 하에서 에이전트들을 테스트했습니다. 하나는 모든 도구가 가까이 있는 단순한 단일 서버 설정이었고, 다른 하나는 실제 과학 실험실이 국경을 넘어 데이터를 공유하는 방식을 모방하여 도구들이 여러 서버에 흩어져 있는 복잡한 연합(federated) 설정이었습니다.

이 연구는 두 가지 주요 유형의 에이전트를 비교했습니다. 첫 번째 유형은 정교한 챗봇과 같은 강력한 언어 모델을 사용하여 다음에 어떤 도구를 사용할지 결정했습니다. 이 모델들은 추론을 안내하기 위해 단순한 지침을 받거나 전문가 수준의 상세한 프롬프트를 받았습니다. 두-번째 유형은 고전적인 강화 학습 에이전트로, 자연어 추론 없이도 정답에 이르는 가장 효율적인 경로를 배우기 위해 수천 번의 연습 과정을 거쳐 훈련된 시스템입니다. 연구진은 이 실험을 수백 번 반복하며, 에이전트가 정답을 맞힌 빈도, 소요 시간, 비용, 그리고 동일한 질문을 받았을 때 매번 같은 답을 내놓는지 여부를 측정했습니다.

결과는 명확한 중요도의 위계를 보여주었습니다. 성공을 결정짓는 가장 중요한 요인은 네트워크 설정이나 구체적인 지침이 아니라, 모델 자체의 근본적인 지능이었습니다. 에이전트가 최상위 언어 모델을 사용했을 때, 약 9294%의 정확도를 달-성했습니다. 반면, 더 작고 능력이 낮은 모델을 사용했을 때는 정확도가 4050% 사이로 급락했습니다. 도구들이 네트워크를 통해 연결된 방식은 성능에 거의 영향을 미치지 않았습니다. 에이전트가 한 방 안에서 작업하든 분산된 네트워크를 통해 작업하든, 성공률은 거의 동일하게 유지되었습니다. 이는 이러한 유형의 작업에서 도구들 사이의 물리적 또는 디지털 거리가 과학적 발견의 주요 장벽이 아님을 시사합니다.

가장 눈에 띄는 발견은 유연성과 신뢰성 사이의 절충 관계에 관한 것이었습니다. 강력한 언어 모델은 높은 품질의 결과를 만들어낼 수 있지만, 비용이 많이 들고 일관성이 없었습니다. 최고의 언어 모델조차 동일한 단백질에 대해 약 2~3%의 확률로 다른 답을 내놓았으며, 이 모델을 실행하는 비용은 단백질당 약 63센트에서 93센트 사이로 상당했습니다. 반면, 추론 과정을 설명하거나 전략을 수정하는 능력이 없는 고전적 학습 에이전트는 모든 실험에서 완벽했습니다. 이 에이전트는 최고 수준의 언어 모델에 육박하는 88%의 정확도를 달성하면서도, 약 15초 만에 비용 없이 작업을 수행했습니다. 또한 완전히 일관되어, 동일한 질문을 다섯 번 던졌을 때도 결코 답을 바꾸지 않았습니다.

연구진은 선택하는 전략이 작업의 성격에 전적으로 달려 있다는 것을 발견했습니다. 잘 알려진 기능이 있는 단백질을 식별하는 것과 같이 정답을 기지의 데이터와 대조하여 검증할 수 있는 일상적인 작업의 경우, 저렴하고 빠르며 완벽하게 일관된 고전적 에이전트가 더 우수한 선택입니다. 이 방식은 무작위 오류의 위험이나 비용 없이 최첨단 수준의 정확도를 제공합니다. 그러나 답이 알려져 있지 않고 유연성이 요구되는 개방형 과학적 발견의 경우에는 비싼 언어 모델이 여전히 필요합니다. 이번 연구는 언어 모델이 제공하는 상세한 추론 흔적의 가치가 작업의 참신함에 따라 달라진다는 점을 시사합니다. 즉, 이미 알려진 사실을 단순히 회복하는 작업에서는 추론의 가치보다 고정된 정책의 확실성이 더 중요합니다. 궁극적으로 이 연구는 이러한 시스템을 구축하는 과학자들에게 실질적인 지침을 제공합니다. 더 복잡하고 유연한 두뇌가 항상 더 나은 것은 아니라고 가정하지 마십시오. 많은 과학적 워크플로에서 단순하게 학습된 규칙은 단지 충분할 뿐만 아니라, 가장 효율적인 경로가 될 수 있습니다.