거대한 과학의 홍수와 로봇 조수

과학의 세계를 연구자들이 세상이 어떻게 돌아가는지에 대한 새로운 책들을 끊임없이 써 내려가는 거대하고 북적이는 도서관이라고 상상해 보세요. 오랫동안 이 도서관은 모든 새로운 책을 읽고, 사실 여부를 확인하며, 어떤 책이 서가에 올릴 만큼 좋은지 결정하는 소수의 자원봉사 사서들에게 의존해 왔습니다. 하지만 최근 "생성형 AI"라는 마법 같은 새로운 도구가 등장했습니다. 이 도구는 연구자들이 자신의 책을 훨씬 더 빠르게 쓸 수 있도록 돕는 초고속 글쓰기 보조원과 같습니다. 이것은 멋진 일처럼 들리지만, 거대한 문제를 야기했습니다. 도서관이 갑자기 수천 권의 새로운 원고로 넘쳐나게 되었고, 자원봉사 사서들은 물에 빠져 허우적거리고 있기 때문입니다. 그들은 모든 페이지를 읽고, 모든 사실을 확인하거나, 모든 실험을 테스트할 시간이 턱없이 부족합니다.

이 이야기는 생물학적 퍼즐(DNA를 해독하거나 바이러스를 추적하는 것 등)을 풀기 위해 컴퓨터를 사용하는 기술인 **생물정보학(bioinformatics)**이라는 특정 과학 분야를 배경으로 합니다. 이 분야의 황금률은 개방성입니다. 과학자들은 누구나 자신의 작업을 확인할 수 있도록 코드(컴퓨터 프로그램의 지침)와 데이터를 공유해야 합니다. 이는 재현성(reproducibility), 즉 누군가에게 정확히 동일한 재료와 지침을 준다면 똑같은 결과를 만들어낼 수 있어야 한다는 개념에 있어 매우 중요합니다. 만약 한 과학자가 "새로운 약을 만들었다"라고 말하면서 그 레시피를 공유하지 않는다면, 아무도 그를 믿을 수 없습니다. 이 논문이 다루는 과제는 간단하지만 시급합니다. 인간 자원봉사자들이 혼자서 감당하기에는 너무 많은 새로운 책들이 쏟아질 때, 어떻게 로봇에게 무엇이 좋고 나쁜지를 결정하게 하지 않으면서 도서관을 원활하게 운영할 수 있을까요?

---

BOSC 실험: 로봇 사서의 첫 출근

2026년, **생물정보학 오픈 소스 컨퍼런스(BOSC)**의 주최자들은 대담한 실험을 시도하기로 했습니다. 그들은 자원봉사 심사위원들이 지치고 압도되어 있다는 것을 알고 있었습니다. 그래서 로봇에게 최종 결정을 내리도록 요청하는 대신, 인간이 읽기 전에 지루하고 힘든 일을 대신 해줄 "로봇 조수"를 만들었습니다. 그들은 이 시스템을 bosc-pre-review라고 불렀으며, 여기에는 Runabilly라는 특별한 조수가 있었습니다.

심사 과정을 오디션 프로그램의 심사위원이라고 생각해 보세요. 보통 심사위원은 세 가지를 확인해야 합니다. 마이크가 연결되어 있는가? 가수가 자신의 악보를 가져왔는가? 그리고 가장 중요한 것은, 가수가 발이 꼬이지 않고 실제로 고음을 낼 수 있는가? 과거에는 인간 자원봉사자들이 이 모든 것을 직접 해야 했습니다. 때로는 "마이크"(코드)가 실제로 작동하는지 확인하는 데 소프트웨어와 전선을 만지작거리며 몇 시간을 허비하기도 했습니다.

이 실험을 위해 주최자들은 디지털 조립 라인을 구축했습니다. 먼저, bosc-pre-review 로봇이 모든 제출물을 스캔했습니다. 이 로봇는 과학이 얼마나 찬란한지 또는 아이디어가 "멋진지" 추측하려 하지 않았습니다. 대신 매우 엄격한 팩트 체크 역할을 수행했습니다. 로봇은 저자들이 제공한 링크를 확인하여 다음을 살폈습니다:

• 문이 열려 있는가? (실제로 코드를 찾을 수 있는가?)
• 라이선스가 유효한가? (다른 사람들이 사용할 수 있도록 허가를 받았는가?)
• 이것은 새로운 노래인가? (이 프로젝트가 이 쇼에서 이전에 공연된 적이 있는가?)
• 밴드가 활동 중인가? (사람들이 여전히 이 작업을 진행 중인가?)

그다음은 가장 흥激한 부분인 Runabilly였습니다. 모든 프로젝트를 위한 작고 일회용인 "샌드박스"(안전하고 격리된 컴퓨터 방)를 만드는 로봇을 상상해 보세요. 이 로봇은 코드를 이 샌드박스로 복제하고, 빌드(build)를 시도하고, 실제로 작동하는지 실행해 봅니다. 만약 코드가 충돌하면 로봇은 "앗, 이 코드는 고장 났어요"라고 말합니다. 만약 잘 작동한다면 "성공!"이라고 말합니다. 이것은 인간에게는 몇 시간 동안의 좌절을 줄 수 있는 작업이었기에 엄청난 시간 절약이 되었습니다. 로봇은 인간 심사위원의 컴퓨터를 위험에 빠뜨리지 않고도 몇 분 만에 안전하게 이를 수행할 수 있었습니다.

결과: 주인이 아닌 유능한 조수

팀은 이 시스템을 60개의 제출물에 적용했습니다. 결과는 다음과 같습니다:

• 로봇은 빠르고 대부분 정확했습니다: AI는 거의 모든 제출물의 링크와 라이선스를 성공적으로 확인했습니다. 39개의 프로젝트가 작동하는 링크를 가지고 있었고, 37개가 유효한 라이선스를 가지고 있음을 찾아냈습니다. 또한 인간이 서두르다 놓칠 수 있었던 3개의 깨진 링크와 3개의 누락된 라이선스를 찾아냈습니다.
• "신선도" 체크: 로봇은 오래된 프로젝트를 찾아내는 데 탁월했습니다. 로봇은 60개 중 50개가 컨퍼런스에 처음 나온 새로운 프로젝트임을 찾아냈고, 10개는 지난 4년 동안 보여준 프로젝트의 업데이트 버전임을 찾아냈습니다. 심지어 제목만 약간 바꾼 채 예전 프로젝트를 몰래 제출하려는 경우까지 잡아냈습니다.
• "실행 가능성"의 놀라움: 로봇이 코드를 빌드하고 실행하려고 했을 때, 17개의 프로젝트가 완벽하게 빌드되어 모든 테스트를 통과했습니다. 그러나 18개의 프로젝트는 빌드는 되었으나 "경고(WARNING)"가 발생했습니다. 이것은 코드가 나쁘다는 뜻이 아니라, 로봇의 작은 샌드박스에 특수 그래픽 카드나 유료 데이터베이스와 같이 코드가 필요로 하는 무언가가 빠져 있었다는 뜻이었습니다. 5개의 프로젝트는 완전히 실패했고, 4개는 빌드 자체가 불가능한 데이터나 훈련 자료였습니다.
• 인간의 손길: 가장 중요한 발견은 숫자에 관한 것이 아니라 사람에 관한 것이었습니다. 심사 후 주최자들은 28명의 인간 자원봉사자에게 의견을 물었습니다. 그중 17명이 응답했습니다. 그들 중 15명이 로봇의 노트를 확인했습니다.
  • 13명은 링크나 라이선스 같은 지루한 사실을 확인하는 데 로봇이 매우 유용하다고 답했습니다.
  • 10명은 최소 3분의 시간을 아꼈다고 답했으며, 2명은 15분 이상을 아꼈다고 답했습니다.
  • 결정적으로, 아무도 로봇을 완전히 신뢰하지 않았습니다. 로봇의 노트를 사용한 모든 심사위원은 여전히 로봇의 작업을 재확인했습니다. 한 심사위원은 "나는 AI 도구를 사용하는 단계에서 '무엇이든 검증하는' 단계에 있다"라고 언급했습니다. 그들은 도움은 받았지만, 로봇이 최종 결정을 내리게 하고 싶지는 않았습니다.

로봇이 하지 않은 일 (그리고 그것이 중요한 이유)

이 논문은 로봇이 하지 않은 일에 대해 매우 명확히 밝히고 있습니다. 로봇은 프로젝트의 승인 또는 거절을 결정하지 않았습니다. 모든 결정은 인간이 내렸습니다. 또한 로봇은 "창의성"이나 "관련성"을 판단하려 하지 않았는데, 이는 너무 주관적이기 때문입니다. 한 심사위원은 로봇이 프로젝트의 "관련성"을 추측하게 두는 것은 편향을 초래할 수 있으며, 그러한 판단은 책임을 질 수 있는 인간의 몫이어야 한다고 주장했습니다.

저자들은 또한 로봇이 가끔 작은 실수를 저지르기도 했지만, 대개 주어진 규칙이 다소 모호했기 때문이라는 점을 발견했습니다. 예를 들어, 프로젝트의 라이선스 파일이 저자가 작성한 내용과 일치하지 않을 경우 로봇은 혼란을 겪을 수 있습니다. 논문은 문제가 로봇의 지능이 아니라 주어진 지침에 있다고 시사합니다. 규칙이 명확하면 로봇은 훌륭하지만, 규칙이 모호하면 로봇도 모호해집니다.

핵 Kind (결론)

이 실험은 AI가 컨퍼런스를 위한 훌륭한 "사전 심사자(pre-reviewer)"가 될 수 있음을 보여주었습니다. AI는 링크 확인, 라이선스 검증, 코드 실행 테스트와 같은 지루하고 기계적인 업무를 처리할 수 있습니다. 이를 통해 인간 자원봉사자들은 과학의 질과 아이디어의 창의성을 판단하는 것과 같이 인간의 마음과 지성이 필요한 부분에 집중할 수 있게 됩니다.

논문은 로봇이 훌륭한 조수이지만 대체재는 아니라고 결론짓습니다. 자원봉사자들은 절약된 시간을 높게 평가하면서도, AI가 최종 선택을 내리는 것에 대해서는 회의적인 태도를 유지했습니다. 저자들이 말했듯, 과학 심사의 미래는 로봇이 인간을 대신하는 것이 아니라, 인간이 생각에 집중할 수 있도록 로봇이 힘든 일을 대신 해주는 것입니다. 실험은 성공적이었지만, 이는 시작에 불과했습니다. 팀은 이미 내년의 규칙을 개선하고 로봇을 더욱 똑똑하게 만드는 방법을 구상하고 있으며, 그 과정에서도 인간 자원봉사자들이 확실하게 주도권을 쥐도록 할 것입니다.