LABBench2: An Improved Benchmark for AI Systems Performing Biology Research

이 논문은 AI 시스템이 실제 과학 연구 과제를 수행하는 능력을 평가하기 위해 기존 LAB-Bench 를 발전시켜 약 1,900 개의 과제로 구성된 더 까다롭고 현실적인 벤치마크 'LABBench2'를 소개하고, 현재 최첨단 모델들의 성능을 평가하여 개선의 여지를 확인합니다.

핵심

🧪 AI 생물학 연구의 '실전 시험': LABBench2 소개

이 논문은 **"인공지능 (AI) 이 실제 과학 연구실에서 일할 수 있을까?"**라는 질문에 답하기 위해 만든 새로운 시험지, LABBench2에 대한 이야기입니다.

과거의 AI 시험지 (LAB-Bench) 가 "교과서 문제를 푸는 능력"을 봤다면, 이번 LABBench2 는 **"실제 연구실에서 문제를 해결하는 능력"**을 봅니다. 마치 운전 면허 시험에서 '이론 시험'을 치르는 것과, '실제 도로에서 운전하는 시험'을 치르는 것의 차이와 비슷합니다.

---

🚀 왜 새로운 시험지가 필요했을까?

과거의 AI 시험지는 다음과 같은 한계가 있었습니다.

• 지식만 묻음: "DNA 가 뭐야?" 같은 교과서 지식을 물었습니다.
• 가상 상황: 그림이나 표를 그냥 이미지 파일로 보여주고 "이게 뭐야?"라고 물었습니다.
• 정답이 명확함: 객관식 (A, B, C, D) 으로 답을 고르게 했습니다.

하지만 실제 과학자들은 책상 앞에 앉아 수천 개의 논문 중 필요한 문서를 찾아내고, 복잡한 실험 데이터를 분석하며, 실수한 실험 방법을 고치는 일을 합니다. LABBench2 는 바로 이런 **'실전 능력'**을 측정하기 위해 만들어졌습니다.

---

📝 LABBench2 의 특징: 1,900 개의 미션

이 시험지는 총 1,900 개의 미션으로 구성되어 있으며, 크게 5 가지 영역을 다룹니다.

1. 📚 논문 읽기 및 검색 (Literature)

• 과거: 논문에서 그림을 보여주고 "이 그림이 뭐라고?" 물음.
• 현재 (LABBench2): "이 주제를 연구한 논문을 찾아봐. 그리고 그 논문 30 페이지에 있는 표를 찾아서 요약해줘."라고 요구합니다.
• 새로운 미션: 특허 문서나 임상 시험 데이터를 찾아보거나, "이 논문이 왜 신뢰할 수 없는지" 전문가처럼 판단하게 합니다.

2. 🗄️ 데이터 접근 (Data Access)

• 과거: 간단한 데이터베이스 질문.
• 현재: "이 특정 유전자의 최신 실험 데이터가 있는 공공 데이터베이스를 찾아서, 정확한 값을 추출해줘."
• 난이도: 마치 도서관에서 특정 책의 특정 페이지를 찾아내는 것보다 훨씬 어렵습니다.

3. 🧬 분자 생물학 돕기 (Molecular Biology)

• 과거: DNA 서열을 텍스트로 주고 "이걸 변형해"라고 함.
• 현재: DNA 서열을 파일로 주거나, 데이터베이스에서 직접 찾아오게 합니다. 그리고 AI 가 직접 실험 설계 (예: PCR 프라이머 설계) 를 해보게 합니다.
• 특징: AI 가 직접 코드를 실행해서 결과를 검증해야 합니다.

4. 🛠️ 실험 방법 고치기 (Protocol Troubleshooting)

• 상황: "이 실험 방법서에 실수가 있어서 결과가 안 나왔어. 어디가 잘못된 거야?"
• 과거: 짧은 문장.
• 현재: 수십 페이지에 달하는 긴 실험 매뉴얼 (PDF) 을 주고, 그 안에서 어디가 실수인지 찾아내게 합니다.

5. 🧪 실험 계획 세우기 (Experiment Planning)

• 미션: "이 유전자를 이 세포에 넣는 실험을 해줘."라고 하면, AI 가 필요한 모든 시약, 도구, 단계를 처음부터 끝까지 설계해야 합니다.

---

📉 결과는 어땠을까? (현실적인 평가)

최신 AI 모델들을 이 시험에 풀어보게 했더니, 놀라운 결과가 나왔습니다.

1. 점수가 확 떨어졌습니다: 이전 시험지 (LAB-Bench) 에서는 8090 점대를 찍던 AI 가, LABBench2 에서는 **2646% 점수가 뚝 떨어졌습니다.**
   • 비유: "수학 문제집"은 잘 풀었는데, "실제 공사 현장"에 가니 망치도 못 들고 당황한 상황입니다.
2. 도구 사용이 중요하지만 부족합니다: 인터넷 검색이나 코드 실행 같은 '도구'를 쓰면 점수가 오릅니다. 하지만 여전히 문서에서 정확한 정보를 찾아내는 능력이나 데이터베이스를 다루는 능력은 인간 전문가에 비해 훨씬 부족합니다.
3. 파일 읽기는 아직 약합니다: 논문 PDF 파일 전체를 주고 그중 특정 그림을 찾으라고 하면, AI 는 헷갈려합니다.

---

💡 이 연구가 우리에게 주는 메시지

이 논문은 **"AI 가 과학을 돕기 위해서는, 단순히 지식을 많이 아는 것을 넘어, 실제 연구실의 복잡한 상황을 헤쳐나갈 수 있어야 한다"**고 말합니다.

• 현재 상태: AI 는 훌륭한 '비서'가 될 수 있지만, 아직 '독립적인 연구자'가 되기엔 무리가 있습니다. 특히 정보를 찾아내고 (검색), 정확하게 처리하고 (파일/데이터), 실수를 찾아내는 (판단) 부분에서 더 발전해야 합니다.
• 미래: 앞으로는 AI 가 논문을 읽고, 데이터를 분석하고, 실험을 설계하는 전 과정을 스스로 수행할 수 있도록 돕는 도구들이 더 많이 개발될 것입니다.

한 줄 요약:

"이제 AI 는 교과서 문제를 푸는 것을 넘어, 실제 연구실에서 '혼자서' 실험을 기획하고 데이터를 찾아내는 진짜 실전 능력을 증명해야 할 때입니다."

기술 요약

1. 문제 정의 (Problem)

최근 인공지능 (AI) 이 과학적 발견을 가속화할 것이라는 기대가 커지고 있지만, 실제 과학 연구 분야에서 AI 시스템의 진전을 측정하는 것은 여전히 난제입니다.

• 기존 벤치마크의 한계: 이전의 'LAB-Bench'는 생물학 연구 태스크를 평가하는 첫 시도였으나, 다중 선택형 (Multiple-choice) 문제 위주라 채점이 용이하도록 설계되었고, DNA 시퀀스 제공 방식이나 그림/표의 문맥 (논문 전체가 아닌 이미지 파일만 제공) 등에서 현실성이 부족했습니다.
• 모델 성능의 포화: 최신 선두 모델 (Frontier models) 들이 기존 LAB-Bench 의 하위 태스크에서 인간 수준을 넘거나 포화 상태에 도달함에 따라, 단순한 지식이나 추론 능력을 넘어 실제 연구 워크플로우에서 유용한 작업을 수행하는 능력을 평가할 수 있는 더 까다롭고 현실적인 벤치마크가 필요해졌습니다.
• 실제 적용의 격차: AI 가 과학적 통찰력을 내거나, 복잡한 실험 프로토콜을 디버깅하거나, 다양한 데이터 소스 (특허, 임상 시험, 보조 자료 등) 에서 정확한 정보를 추출하는 능력은 여전히 검증되지 않았습니다.

2. 방법론 (Methodology)

저자들은 LAB-Bench 를 진화시킨 LABBench2를 소개하며, 총 1,883 개의 태스크로 구성된 새로운 벤치마크를 구축했습니다. 기존 벤치마크의 5 가지 주요 범주를 유지하되, 현실성을 높이고 난이도를 대폭 강화했습니다.

주요 구성 요소 및 태스크 유형:

1. 문헌 이해 및 검색 (Literature Retrieval & Understanding):

   • LitQA3: 기존 다중 선택형에서 **자유 서술형 (Open-response)**으로 변경. 논문의 전체 텍스트를 읽고 추론해야 함.
   • FigQA2 & TableQA2: 그림/표 이해 태스크를 3 가지 변형으로 확장: (i) 이미지만 제공, (ii) 전체 PDF 제공 (문맥 내 그림 찾기), (iii) 검색 기반 (어떤 논문에 해당 그림이 있는지부터 찾아야 함).
   • PatentQA & TrialQA: 연구 논문 외에도 특허와 임상 시험 데이터에서 정보를 검색하고 추출하는 능력을 평가.
   • SuppQA2: 본문 외에 포함된 **보조 자료 (Supplementary Information)**의 텍스트, 그림, 데이터 등을 접근하고 이해하는 능력 평가.
   • SourceQualityQA: 연구의 적절성을 판단하는 능력 평가. 특정 연구가 왜 제외되었는지에 대한 **과학적 판단 (Scientific Discernment)**을 요구하며, 단순한 체크리스트 준수 여부를 넘어선 평가.

2. 데이터 접근 (Data Access - DbQA2):

   • 43 개의 생물학 데이터베이스에서 특정 엔트리를 정확히 찾아 정보를 추출하는 태스크.
   • 단순 검색을 넘어 복잡한 스키마와 식별자를 가진 데이터베이스를 탐색하는 능력을 측정.

3. 분자 생물학 지원 (Molecular Biology Assistance):

   • SeqQA2: DNA/RNA 시퀀스 조작 태스크. 시퀀스를 프롬프트에 직접 입력하는 방식뿐만 아니라, 파일 업로드 또는 데이터베이스 검색을 통해 시퀀스를 가져와야 하는 현실적인 시나리오 포함.
   • CloningQA: 분자 클로닝 실험의 종단간 (End-to-End) 설계. 필요한 효소, DNA 재료를 선택하고 전체 프로토콜을 설계해야 함.

4. 프로토콜 문제 해결 (Protocol Troubleshooting - ProtocolQA2):

   • 실제 출판된 프로토콜 (PDF 등) 에 의도적으로 오류를 삽입하고, AI 가 이를 식별하여 수정하는 능력을 평가. 더 길고 복잡한 프로토콜을 다룸.

5. 실험 계획 (Experiment Planning):

   • 실제 연구 프로젝트에서 마주치는 클로닝 시나리오를 기반으로 한 종합적인 실험 설계 태스크.

구축 과정:

• 생물학 박사 학위 소지자 또는 수료자 등 도메인 전문가가 직접 태스크를 생성하고 검증.
• 각 태스크는 정답이 오직 하나의 소스 (논문, 데이터베이스 등) 에서만 도출될 수 있도록 설계되어 훈련 데이터 오염을 방지.
• 커스텀 검증기 (Verifier Functions): 생성된 DNA 시퀀스나 실험 설계가 유효한지 시뮬레이션 (In silico) 으로 자동 검증.

3. 주요 기여 (Key Contributions)

1. 현실성 및 범위의 확장: LAB-Bench 를 기반으로 하여, 자유 서술형 응답, 파일/검색 기반 태스크, 특허/임상시험 데이터 접근, 보조 자료 분석 등 실제 연구 환경에 더 부합하는 1,900 개에 가까운 태스크를 포함.
2. 새로운 평가 영역 도입: 문헌의 출처 품질 평가 (SourceQuality), 특허 및 임상 시험 데이터 검색 등 기존에 평가되지 않았던 고부가가치 연구 태스크 추가.
3. 강화된 난이도: 기존 벤치마크 대비 모델별 정확도 차이가 **-26% 에서 -46%**까지 감소할 정도로 난이도가 크게 상승하여, 현재 AI 의 한계를 명확히 보여줌.
4. 오픈 소스화: Hugging Face 에 데이터셋과 GitHub 에 평가 하네스 (Eval Harness) 를 공개하여 커뮤니티 개발을 장려.

4. 결과 (Results)

선두 모델 (Frontier models) 들을 대상으로 한 평가 결과는 다음과 같습니다.

• 난이도 증가: LAB-Bench 대비 LABBench2 에서 모든 태스크 패밀리와 모델에서 일관된 정확도 하락이 관찰됨. 이는 개방형 응답과 더 현실적인 컨텍스트 (검색/파일 의존성) 때문임.
• 도구 사용의 효과: 웹 검색 및 코드 실행 도구를 사용하면 정보 검색 (LitQA3, PatentQA 등) 태스크에서 성능이 크게 향상됨. 하지만 **DbQA2(데이터베이스 접근)**와 같은 전문적인 데이터 소스 탐색에서는 도구 사용에도 불구하고 여전히 성능 병목이 발생함.
• 시각 이해 능력: AI 는 이미지로 제공된 그림/표를 이해하는 능력은 뛰어나지만, 논문 전체 PDF 내에서 해당 그림을 찾아내고 해석하는 능력은 상대적으로 떨어짐.
• 입력 모달리티의 영향: 분자 생물학 태스크 (SeqQA2, CloningQA) 에서 시퀀스를 직접 입력 (In-line) 하는 것보다 파일 업로드 방식이 더 나은 성능을 보이는 경우가 있음 (긴 시퀀스 처리 능력 때문). 하지만 검색 기반 (Retrieval) 태스크는 모든 모델에서 성능이 매우 낮음.
• 세부 기술 격차: 시퀀스 내 특정 부분 식별 (프라이머 설계 등) 과 같은 세밀한 작업은 성능이 낮지만, 전역적 시퀀스 분석이나 계산 의존적 태스크는 도구 사용 시 상대적으로 잘 수행함.

5. 의의 및 시사점 (Significance)

• 실제 연구 적용 가능성 평가: LABBench2 는 AI 가 단순한 지식 질문 답변을 넘어, 실제 과학 연구의 복잡한 워크플로우 (검색, 데이터 분석, 실험 설계, 오류 수정) 를 수행할 수 있는지를 평가하는 **사실상 표준 (De facto benchmark)**으로 자리 잡음.
• 향후 개발 방향 제시:
  • 검색 및 문서 탐색 강화: 불확실성이 있는 환경에서의 반복적 검색 및 이질적인 과학 문서 내 정보 위치 파악 능력 개선 필요.
  • 전문 데이터베이스 접근: 과학적 데이터베이스 API 와의 상호작용 및 정밀한 데이터 추출 능력 개발이 핵심 과제.
  • 정밀한 도구 활용: 긴 DNA 시퀀스나 복잡한 실험 프로토콜을 다룰 때, AI 가 오류 없이 정확한 문자열 조작을 수행할 수 있도록 **전용 도구 (Specialized Tools)**를 제공하는 것이 중요함.
  • 과학적 판단력: 단순한 체크리스트 준수가 아닌, 연구의 적절성을 판단하는 과학적 통찰력 (Scientific Discernment) 함양 필요.

결론적으로, LABBench2 는 AI 과학자 (AI Scientist) 개발을 위한 중요한 이정표로, 현재 AI 시스템이 가진 강점과 약점을 명확히 드러내며 향후 연구 방향을 제시합니다.