Verification Debt in Automated Biological Research Workflows: A Proof-of-Concept

현대 생물학은 컴퓨터가 단순히 숫자를 계산하는 도구를 넘어, 발견의 능동적인 파트너가 되는 시대로 진입하고 있습니다. 과학자들은 실험을 계획하고, 방대한 의학 문헌을 검색하며, 유전자와 질병 사이의 연결 고리를 찾는 역할을 수행하도록 설계된 소프트웨어 프로그램인 인공지능 에이전트를 사용하기 시작했습니다. 이러한 시스템은 수천 개의 생물학적 데이터베이스에 접근할 수 있으며, 과거에는 인간 팀이 몇 주에 걸쳐 완료해야 했던 복잡한 워크플로우를 실행할 수 있습니다. 그 약속은 엄청납니다. 더 빠른 치료법, 생명에 대한 더 깊은 이해, 그리고 인간이 혼자서는 결코 관리할 수 없는 규모의 연구를 가능하게 하는 것입니다. 그러나 이러한 속도는 새로운 종류의 위험을 동반합니다. 컴퓨터가 결정을 내릴 때, 왜 그러한 선택을 했는지, 어떤 근거를 사용했는지, 혹은 중요한 단계를 건너뛰었는지 여부가 항상 명확하지는 않기 때문입니다. 만약 인간이 컴퓨터의 작업 내용을 쉽게 확인할 수 없다면, 불확실성이라는 숨겨진 부담이 쌓이기 시작합니다. 이것이 바로 연구자들이 "검증 부채(verification debt)"라고 부르는 것으로, 확인되지 않은 가정들과 숨겨진 단계들이 쌓여서 제대로 점검하지 않을 경우 잘못된 결론으로 이어질 수 있는 상태를 의미합니다.

한 연구팀은 오늘날의 생물학적 AI에 이 부채가 정확히 얼마나 존재하는지 측정하기 위해 나섰습니다. 그들은 생물 의학 연구를 처리하도록 설계된 'Biomni'라는 특정 시스템을 테스트 대상으로 선택했습니다. 연구팀은 단순히 컴퓨터에게 똑똑한지 묻는 대신, 실질적인 열 가지의 실제 생물학적 질문을 던져 직접 일을 시켰습니다. 이 질문들은 "이 특정 단백질은 무엇을 하는가?"와 같은 단순한 문의부터, "RNA와 단백질 데이터가 어떻게 결합하여 특정 유형의 암을 설명하는가?"와 같은 복잡한 퍼즐에 이르기까지 다양했습니다. 결과의 신뢰성을 확보하기 위해, 연구진은 각 실행을 독립적인 실험으로 간주하여 AI에게 각 질문에 대해 세 번씩 따로 답하도록 요청했습니다. 그런 다음 연구진은 질문을 받은 순간부터 최종 답변을 생성할 때까지 AI가 수행한 모든 단계를 세밀하게 조사했습니다. 그들의 목표는 AI의 추론이 견고한 근거로 거슬러 올라갈 수 있는지, 아니면 인간 과학자가 검증할 수 없는 비약을 하는지를 확인하는 것이었습니다.

연구 결과, AI는 엄격하고 종종 옳은 답변을 생성할 수 있는 능력을 갖추고 있었지만, 빈번하게 검증되지 않은 선택의 흔적을 남기는 것으로 나타났습니다. 많은 경우, AI는 특정 주장을 뒷받침하기 위해 과학 연구를 인용했지만, 실제로 그 연구의 전문(full text)을 읽지는 않았습니다. 대신, 검색 도구가 제공하는 짧은 요약본에 의존하여, 그 요약본에 자신이 필요로 하는 특정 사실이 포함되어 있다고 가정했습니다. 이는 AI가 근거에 기반한 것처럼 보이지만, 실제로는 근거가 누락되었거나 불완전한 상황을 만들었습니다. 연구팀은 잘 알려진 생물학적 사실에 대해 AI가 검색 과정을 통째로 건너뛰고, 사용자에게 알리지 않은 채 내부 기억에서 답변을 꺼내어 대답하는 경우가 많다는 것을 발견했습니다. 이는 일부 질문에 대해 정보가 어디에서 왔는지 인간이 확인할 방법이 없게 만들어, 증명의 사슬에 공백을 남겼습니다.

문제의 성격은 질문의 난이도에 따라 달라졌습니다. 단순한 질문의 경우 주요 문제는 투명성의 부족이었습니다. 즉, AI가 왜 그러한 결정을 내렸는지 설명하지 않은 채 가정을 하거나 단계를 건너뛰는 것이었습니다. 더 복잡한 질문의 경우, 문제는 해석의 문제로 옮겨갔습니다. AI는 때때로 데이터가 실제로 뒷받침하는 것보다 더 강한 결론을 도출하거나, 마우스 연구 결과와 인간 유전 데이터를 결합하면서 두 데이터의 신뢰도 차이를 명확히 밝히지 않고 섞어서 사용하는 등의 행동을 보였습니다. 연구진은 이러한 오류들이 일관적이지 않다는 점에 주목했습니다. 한 번은 AI가 완벽한 경로를 따랐을지라도, 다음번에는 숨겨진 결함이 있는 다른 경로를 택할 수도 있었습니다. 이러한 예측 불가능성은 설령 AI가 정답을 맞혔더라도 그 과정이 결함이 있을 수 있기 때문에, 시스템을 단순히 신뢰하기 어렵게 만듭니다.

이번 연구의 핵심 발견은 AI의 단계들을 기록한 '추적 기록(trace)'을 갖는 것만으로는 작업의 정확성을 보장할 수 없다는 것이었습니다. AI는 자신이 사용한 모든 도구와 쿼리한 모든 데이터베이스에 대한 상세한 로그를 제공할 수 있지만, 그럼에도 불구하고 데이터에 대한 오해나 명시되지 않은 가정에 기반하여 결론에 도달할 수 있습니다. 연구진은 "의존성 결과(dependency consequence)"라고 불리는 특정 유형의 위험을 식별했는데, 이는 프로세스 초기 단계의 단 하나의 검증되지 않은 결정이 전체 워크플로우를 타고 흘러가 이후의 모든 결과를 오염시킬 수 있음을 의미합니다. 연구진은 테스트한 거의 모든 질문에서 AI의 결정 대부분이 이러한 높은 수준의 위험을 수반하고 있음을 발견했습니다. 만약 인간 연구자가 사슬의 모든 연결 고리를 주의 깊게 점검하지 않는다면, 작은 오류 하나가 중대한 과학적 실수로 이어질 수 있습니다.

이 연구는 이러한 자동화된 시스템이 강력하기는 하지만, 완전히 스스로 작동하도록 믿임할 수는 없다고 결론짓습니다. 그것들이 제공하는 속도와 규모는 가치 있지만, 컴퓨터가 수행하는 일과 인간이 검증할 수 있는 일 사이에 간극을 만듭니다. 연구진은 투명성, 즉 AI가 취한 단계들을 보여주는 것은 필요하지만 충분하지는 않다고 주장합니다. 시스템이 완전히 추적 가능하더라도, 그 단계 뒤에 숨겨진 추론이 결함이 있다면 신뢰할 수 없는 결과를 낼 수 있기 때문입니다. 앞으로 나아가기 위해서, 과학계는 단순히 최종 답변을 체크하는 것이 아니라, AI가 그곳에 도달하기 위해 거친 전체 여정을 체계적으로 점검할 수 있는 새로운 방법들이 필요합니다. 이러한 검증 방법이 마련될 때까지, 인간 전문가들은 기계가 작업하며 축적하는 숨겨진 부채를 잡아내기 위해 반드시 과정 속에 머물러 있어야 합니다.