Silent methodological failures in AI-assisted science: benchmarking large language model agents for virtual gene knockout analysis
본 연구는 가상 유전자 결손 분석에 대해 다섯 가지 LLM 에이전트를 벤치마킹하였으며, 모든 에이전트가 코드를 성공적으로 실행했음에도 불구하고 80%가 "침묵하는 방법론적 실패(silent methodological failures)"를 통해 생물학적으로 불가능한 결과를 생성했음을 밝혀냈고, 이는 단순한 코드 실행을 넘어 생물학적 검증과 모델 간 일치성이 AI 지원 과학에서 매우 중요하다는 점을 강조한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기
현대적인 실험실에 새로운 종류의 조수가 도착했다. 이 조수는 실험복을 입거나 피펫을 들고 있는 대신 코드의 언어로 말한다. 이 거대 언어 모델들은 생명체가 특정 유전자가 꺼졌을 때 어떻게 반응하는지를 시뮬레이션하는 계산 생물학의 복잡하고 다단계적인 과업을 수행하도록 요청받고 있다. '가상 유전자 녹아웃(virtual gene knockout)'이라 불리는 이 과정은 과학자들이 살아있는 유기체를 직접 만지지 않고도 유전적 변화의 파급 효과를 예측할 수 있게 해준다. 이는 질병을 이해하고 치료법을 설계하는 데 강력한 도구이지만, 컴퓨터가 일련의 지침을 완벽하게 따를 수 있는 능력에 전적으로 의존한다. 과학계가 직면한 핵심 질문은, 이 인공지능 에이전트들이 연구자의 의도를 올바른 수학적 현실로 번역할 수 있는지, 아니면 그저 표면적으로는 그럴싸해 보이지만 근본적으로는 틀린 답을 내놓는 것뿐인지에 대한 것이다.
시안 교통 대학교 제2 부속 병원의 연구팀은 다섯 가지 서로 다른 인공지능 에이전트를 독립적인 과학자로 취급하여 이 신뢰성을 테스트하기 위해 나섰다. 그들은 각 에이전트에게 두 가지 서로 다른 간 세포 데이터 집합에서 알부민(albumin)이라고 불리는 특정 유전자를 제거하는 시뮬레이션을 수행하라는 동일한 임무를 부여했다. 알부민은 간에서 만들어지는 단백질이며, 그 역할이 잘 알려져 있기 때문에 시뮬레이션이 생물학적으로 타당한지를 확인하는 신뢰할 수 있는 척도로 사용된다. 연구진은 에이전트들에게 네 가지 뚜렷한 수학적 프레임워크를 사용하여 이 시뮬레이션을 수행하도록 요청했는데, 이 작업은 컴퓨터가 데이터를 파싱하고, 유전자 상호작용 네트워크를 구축하며, 변화의 통계적 유의성을 계산하는 능력을 요구한다. 목표는 컴퓨터가 실행 가능한 코드를 작성할 수 있는지 보는 것이 아니라, 그들이 작성한 코드가 실제로 간 세포의 알려진 행동과 일치하는 결과를 도출하는지를 확인하는 것이었다.
결과는 기술적 성공과 과학적 진실 사이의 놀라운 격차를 드러냈다. 모든 에이전트는 오류 메시지를 띄우거나 중단되지 않고 할당된 과업을 완수해 냈다. 그들은 모두 성공적으로 실행되는 코드를 생성했으며, 모두 수치적인 답을 반환했다. 그러나 연구진이 실제 수치를 검토했을 때, 에이전트들은 서로 극적으로 불일치했다. 작업을 마치는 데 걸린 시간은 가장 빠른 에이전트가 1분 남짓 걸린 반면 가장 느린 에이전트는 30분 이상이 걸리는 등 매우 다양했다. 더 중요한 것은, 에이전트들이 도출한 생물학적 결론이 종종 일관되지 않았다는 점이다. 어떤 경우에는 한 에이전트가 유전자 녹아웃이 엄청난 영향을 미쳤다고 주장하는 반면, 정확히 동일한 데이터를 다루는 다른 에이전트는 그 효과가 미미하다고 결론짓기도 했다. 에이전트들의 수치 출력 변동폭이 너무 커서 최고치와 최저치 사이의 차이가 140%를 넘어서기도 했다.
가장 우려스러운 발견은 연구진이 '침묵하는 방법론적 실패(silent methodological failures)'라고 부르는 현상의 만연이었다. 다섯 개 중 네 개의 에이전트가 이 함정에 빠졌다. 이 에이전트들은 완벽하게 실행되고 오류 없는 보고서를 생성하는 코드를 만들었지만, 그들이 전달한 결과는 생물학적으로 불가능한 것이었다. 예를 들어, 한 에이전트는 실수로 데이터 행렬을 뒤집었는데, 이 실수는 계산의 의미 전체를 바꾸어 놓았음에도 불구하고 아무런 경고 신호를 발생시키지 않았다. 또 다른 에이전트는 '영향'에 대한 수학적 정의를 표준과 다르게 사용하여, 실제로는 존재하지 않는 유의미한 발견이 있는 것처럼 보고했다. 코드가 오류 없이 실행되었기 때문에, 기술적인 결함만을 확인하는 연구자라면 이러한 실수를 알아차리지 못했을 가능성이 크다. 에이전트들은 지시 사항의 문구는 성공적으로 따랐으나 과학적 방법론의 정신은 파악하지 못했고, 계산적으로는 유효하지만 과학적으로는 오도하는 출력을 만들어냈다.
모든 에이전트의 성과가 똑같이 저조했던 것은 아니다. 이 연구는 한 분야에서의 성공이 다른 분야에서의 성공을 보장하지 않는다는 점을 강조했다. GLM 5.1은 가장 균형 잡힌 성능을 보인 에이전트로 꼽혔는데, 대부분의 테스트에서 빠르고 생물학적으로 타당한 결과를 만들어냈다. Kimi는 일시 정지를 유발한 메모리 오류를 자동으로 해결함으로써 인상적인 회복력을 보여주었으나, 이 복구 과정에서 상당한 시간을 소로했다. 반면, 가장 빨랐던 Minimax는 가장 빠른 결과를 만들어냈지만, 대다수의 시도에서 생물학적으로 타당한 결과를 생성하는 데 실패했다. 연구는 에이전트가 수학적 단계를 구현하는 구체적인 방식이 상위 수준의 지침이 동일하더라도 최종 답변을 완전히 바꿀 수 있다는 것을 발견했다. 이는 현재 세대의 AI 에이전트가 복잡한 과학적 워크플로우에서 인간의 감독을 대체할 만큼 아직 신뢰할 수 없음을 시사한다.
연구진은 AI가 실행 가능한 코드를 작성할 수 있다는 사실만으로는 과학이 정확하다는 것을 증명하기에 부족하다고 결론지었다. 침묵하는 실패의 존재는 자동화된 실행에만 의존하는 것이 잘못된 발견이나 통찰력의 누락으로 이어질 수 있음을 의미한다. 신뢰성을 확보하기 위해, 연구는 단일 AI 에이전트의 출력만을 신뢰해서는 안 된다고 제안한다. 대신, 동일한 분석을 여러 서로 다른 에이전트를 통해 실행하고 그들 사이의 합의를 확인해야 한다. 만약 에이전트들이 매우 다른 수치를 생성한다면, 그것은 무언가 잘못되었으며 인간의 조사가 필요하다는 신호이다. 나아가, 이러한 AI 시스템에 주어지는 지침은 수학적 연산이 어떻게 수행되어야 하는지를 AI가 추측하게 두는 대신, 정확하게 정의할 수 있을 만큼 훨씬 더 정밀해야 한다. 이러한 안전장치가 마련될 때까지, 과학 분야에서 인공지능의 가장 가치 있는 역할은 여전히 그 작업을 검증할 수 있는 숙련된 인간을 필요로 하는 강력한 조수의 역할에 머물러 있다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.