ProtRLSearch: A Multi-Round Multimodal Protein Search Agent with Large Language Models Trained via Reinforcement Learning

이 논문은 단백질 서열과 텍스트를 통합한 멀티모달 입력과 다차원 보상 기반 강화학습을 통해 다중 라운드 단백질 검색 에이전트 'ProtRLSearch'를 제안하고, 이를 평가하기 위해 3,000 개의 다중 선택지 질문으로 구성된 벤치마크 'ProtMCQs'를 구축한 연구입니다.

핵심

이 논문은 **"단백질이라는 복잡한 세계를 탐험하는 똑똑한 AI 비서"**를 개발한 이야기입니다.

기존의 AI(대형 언어 모델) 는 단백질에 대해 질문을 받으면, 마치 **"기억만 믿고 추측하는 학생"**처럼 때로는 틀린 정보를 말하거나 (할루시네이션), 중요한 세부 사항을 놓치는 경우가 많았습니다. 특히 단백질의 '아미노산 서열'이라는 복잡한 코드를 이해하지 못하면, 정확한 진단이나 분석을 하기 어렵습니다.

저자들은 이 문제를 해결하기 위해 ProtRLSearch라는 새로운 시스템을 만들었습니다. 이 시스템을 이해하기 쉽게 세 가지 비유로 설명해 드릴게요.

---

1. 기존 방식 vs 새로운 방식: "한 번만 검색하는 도서관 사서" vs "팀워크를 발휘하는 탐정 팀"

• 기존 방식 (단일 회차 검색):
  기존 AI 는 질문을 받으면 도서관에서 책 한 권을 딱 한 번 찾아와서 답을 내놓습니다. 하지만 단백질은 책의 제목만 보고는 내용을 알 수 없는 복잡한 구조를 가졌습니다. "단백질 A"라고 검색했는데, 정작 중요한 "단백질 A 의 특정 부위가 변이되었다"는 사실을 놓치면 답이 틀릴 수밖에 없습니다.

• 새로운 방식 (ProtRLSearch):
  이 시스템은 팀워크를 발휘하는 탐정 팀처럼 작동합니다.

  • 기획자 (Planner): 질문을 듣고 "우리가 어떤 키워드로, 어떤 데이터베이스를 찾아봐야 할까?"를 먼저 계획합니다.
  • 검색자 (Retriever): 기획자의 지시에 따라 인터넷, 논문, 단백질 데이터베이스를 동시에 뒤집니다.
  • 실행자 (Executor): 찾은 정보를 분석하고, "이 정보로 답이 나왔나? 아니면 더 찾아봐야 하나?"를 판단합니다. 답이 부족하면 다시 검색을 반복합니다 (다중 회차 검색).

이렇게 여러 번에 걸쳐 꼼꼼하게 검색하고 검증하는 과정을 통해, 처음에는 놓쳤던 중요한 정보도 찾아낼 수 있습니다.

2. 핵심 기술: "눈과 귀를 모두 쓰는 멀티모달 학습"

단백질은 텍스트로만 설명하기엔 너무 복잡한 '이미지'나 '코드'와 같습니다.

• 기존 AI: 단백질 서열을 그냥 "문자열"로만 봅니다. 마치 외국어를 모르고 글자만 보고 번역하는 것과 비슷합니다.
• ProtRLSearch: 단백질 서열을 그림이나 악보처럼 이해합니다.
  • 이 시스템은 단백질의 구조와 기능을 이해하는 전문 AI(단백질 기초 모델) 와 텍스트를 이해하는 AI 를 합쳤습니다.
  • 비유: 마치 음악 감별사가 악보 (단백질 서열) 를 보고 소리의 질감을 이해하고, 동시에 악보에 대한 설명서 (텍스트) 도 읽어서 완벽한 해설을 하는 것과 같습니다. 이렇게 하면 검색할 때 "이 단백질의 특정 부위가 변이되었으니, 그 부위와 관련된 논문을 찾아라"라고 정확히 지시할 수 있습니다.

3. 훈련 방법: "정답만 보는 시험"이 아닌 "과정까지 평가하는 코치"

기존의 AI 학습은 "최종 답이 맞으면 점수 주고, 틀리면 점수 뺏기" 방식이었습니다. 하지만 검색 과정에서 실수가 생기면 (예: 잘못된 키워드 선택), 그 실수가 최종 답까지 이어져 큰 오류가 됩니다.

• ProtRLSearch 의 훈련 (강화 학습):
  이 시스템은 정교한 코치를 둔 선수처럼 훈련됩니다. 코치는 다음과 같은 4 가지 기준으로 매번 피드백을 줍니다.
  1. 정답 (Answer): 최종 답이 맞나요?
  2. 키워드 (Keywords): 중요한 단어를 잘 골랐나요?
  3. 도구 (Tool): 올바른 데이터베이스를 선택했나요?
  4. 형식 (Format): 보고서를 깔끔하게 작성했나요?

이렇게 과정 전체를 평가하고 점수를 주니까, AI 는 실수를 바로잡고 더 효율적으로 검색 경로를 찾아내게 됩니다.

4. 성과: "어려운 문제도 척척"

연구진은 이 시스템의 능력을 테스트하기 위해 ProtMCQs라는 새로운 시험지를 만들었습니다. 이 시험지는 단백질에 대한 지식이 얼마나 깊은지, 그리고 검색을 잘 활용하는지 3 단계 난이도로 평가합니다.

• 결과:
  • 기존 AI 들은 어려운 문제 (레벨 3) 에서 26% 만 맞췄지만, ProtRLSearch 는 72.5% 를 맞췄습니다.
  • 특히 단백질 서열 정보가 중요한 문제에서는 기존 방식이 완전히 무너지는 반면, 이 시스템은 서열을 이해하고 검색을 결합하여 압도적인 성능을 보여줬습니다.

요약

이 논문은 **"단백질이라는 복잡한 미로를 탐색할 때, 단순히 책만 뒤지는 게 아니라, 단백질의 구조를 이해하는 '눈'을 가지고, 여러 번에 걸쳐 꼼꼼히 검색하며, 과정 전체를 코칭받는 AI 비서"**를 만들었다는 것을 보여줍니다.

이는 질병 관련 변이 분석이나 신약 개발 같은 의료 현장에서, AI 가 더 신뢰할 수 있고 정확한 조언을 할 수 있게 해주는 중요한 기술적 도약입니다.

기술 요약

1. 문제 정의 (Problem Statement)

의료 및 생명과학 분야에서 단백질 분석 작업 (질병 관련 변이 해석, 임상 연구 등을 위한 단백질 수준 분석 등) 은 정확한 추론이 요구되지만, 기존 접근 방식에는 다음과 같은 한계가 존재합니다.

• 단일 모달리티 및 1 회 검색의 한계: 기존 검색 에이전트 (BioMedSearch, MindSearch 등) 는 주로 텍스트 모달리티에 의존하며, 1 회 검색 (Single-round) 으로만 정보를 수집합니다. 이는 단백질 서열 (Sequence), 도메인, 돌연변이 부위 등 서열 수준의 제약 조건을 검색 의사결정 과정에 통합하지 못하게 하여, 검색 결과가 주어진 서열과 일치하는지 판단하기 어렵게 만듭니다.
• 강화학습 (RL) 의 부재 및 과정 제어 부족: 기존 RL 기반 방법들은 최종 답변 (Final Answer) 에만 초점을 맞춘 보상을 사용하여, 검색 과정 중 키워드 선택이나 추론 방향의 오류를 실시간으로 식별하고 수정하기 어렵습니다. 이로 인해 초기 검색 경로가 잘못된 방향으로 이탈할 경우 이를 교정하지 못해 오류가 증폭되는 문제가 발생합니다.
• 할루시네이션: 실시간 검색 없이 LLM 만을 사용할 경우, 단백질 기능 할당이나 변이 해석과 같은 작업에서 사실과 다른 정보 (할루시네이션) 를 생성할 위험이 높습니다.

2. 방법론 (Methodology)

저자들은 이러한 한계를 극복하기 위해 ProtRLSearch를 제안했습니다. 이는 다중 라운드 (Multi-round) 검색을 수행하며, 강화학습 (RL) 을 통해 훈련된 멀티모달 단백질 검색 에이전트입니다.

가. 멀티모달 입력 및 표현 (Multimodal Representation)

• 단백질 서열 통합: ESM-2 와 같은 프리트레인된 단백질 기반 모델 (Protein Foundation Model) 을 사용하여 아미노산 서열의 컨텍스트 표현 (도메인 경계, 보존 모티프 등) 을 추출합니다.
• LLM 통합: 추출된 고차원 단백질 임베딩을 학습 가능한 선형 프로젝션 (Linear Projection) 을 통해 LLM 의 입력 공간에 매핑합니다. 이를 통해 텍스트 쿼리와 단백질 서열이 토큰 수준에서 통합된 어텐션 (Attention) 범위 내에서 처리되도록 하여, 서열과 의미 간의 정렬을 강화합니다.

나. 다중 라운드 검색 에이전트 구조 (Multi-Round Search Agent)

에이전트는 Planner(계획자), Retriever(검색자), **Executor(실행자)**로 구성되며, 각 라운드마다 구조화된 출력을 생성합니다.

1. Planner: 현재 쿼리를 분석하여 단백질 중심의 키워드를 추출하고, 각 키워드에 적합한 검색 도구 (Web, Literature, UniProt 등) 를 할당합니다. 이 과정은 방향성 비순환 그래프 (DAG) 형태의 구조화된 검색 계획으로 출력됩니다.
2. Retriever: DAG 에 따라 여러 데이터베이스 (웹, 논문, 단백질 DB) 에서 병렬 검색을 수행합니다. 검색 결과의 관련성을 평가하기 위해 PubMedBERT 기반 벡터 점수와 LLM 기반 점수를 결합하여 Top-K 결과를 선별합니다.
3. Executor: 검색 결과를 분석하여 중간 결론을 도출하고, 원래 쿼리를 해결하기에 충분한지 판단합니다. 충분하지 않다면 다음 라운드를 위한 새로운 쿼리를 생성하여 검색을 반복합니다.

다. 다차원 보상 설계 (Multi-Dimensional Reward Design)

검색 과정의 안정성을 확보하기 위해 최종 답변뿐만 아니라 검색 과정 자체를 제어하는 4 가지 차원의 보상 신호를 설계했습니다.

• Answer Reward: 생성된 답변과 정답 (Ground Truth) 간의 의미적 유사성을 평가 (LLM-as-a-Judge).
• Keywords Reward: 1 회 검색 계획 시 추출된 단백질 관련 키워드가 정답 키워드와 일치하는지 평가.
• Tool Reward: 추출된 키워드에 대해 올바른 검색 도구 (Web, UniProt 등) 를 선택했는지 평가.
• Format Reward: 검색 계획, 결과, 추론 과정 등이 정의된 구조화된 태그 (DAG, search_results, reason 등) 를 준수하는지 평가.
• 총 보상: $R_{total} = \lambda_{Ans}R_{Ans} + \lambda_{KW}R_{KW} + \lambda_{Tool}R_{Tool} + \lambda_{Fmt}R_{Fmt}$ (가중치 합).

3. 주요 기여 (Key Contributions)

1. ProtRLSearch 제안: 단백질 서열과 텍스트를 멀티모달 입력으로 활용하고, RL 기반 다중 라운드 검색을 수행하는 최초의 에이전트 중 하나입니다. 이는 서열 인식 (Sequence-aware) 검색 의사결정을 가능하게 합니다.
2. 다차원 보상 체계: 키워드, 검색 도구, 형식, 답변 품질을 모두 고려한 보상 설계를 통해 모델이 자율적으로 최적의 검색 경로를 학습하도록 유도합니다.
3. ProtMCQs 벤치마크 구축: 단백질 서열 정보를 통합하여 추론해야 하는 3,000 개의 객관식 문제 (MCQ) 로 구성된 새로운 벤치마크를 개발했습니다. 이는 단순 텍스트 기반이 아닌, 서열 제약 하의 기능/표현형 추론 및 다차원 신호 전달 경로 통합 추론 능력을 평가합니다.

4. 실험 결과 (Results)

• 성능 향상:
  • ProtMCQs (제안된 벤치마크): Level 1 에서 35.7% → 86.9%, Level 2 에서 30.5% → 77.4%, Level 3 에서 26.1% → **72.5%**로 정확도가 획기적으로 향상되었습니다.
  • BioMedMCQs: 기존 최상위 모델들 (Search-R1, BioMedSearch 등) 보다 높은 정확도 (Level 1 기준 89.2%) 를 기록했습니다.
• 효율성: 다중 라운드 검색을 수행함에도 불구하고, 추론 시간과 토큰 소비량이 기존 다중 라운드 모델 (Search-R1 등) 에 비해 현저히 낮아 효율적인 수렴을 보였습니다.
• 일반화 능력: 단백질 특화 작업뿐만 아니라 MedMCQA 및 MedQA 와 같은 일반적인 의료 질문 답변 작업에서도 높은 성능 (90.4%, 87.4%) 을 보여주어 강력한 일반화 능력을 입증했습니다.
• Ablation Study: RL 제거 시 성능 저하가 발생했고, 특히 ProtMCQs 에서 단백질 모달리티 제거 시 성능이 크게 하락하여 단백질 서열 정보의 중요성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 의료 및 생명과학 분야에서 LLM 의 할루시네이션 문제를 해결하고 신뢰할 수 있는 추론을 가능하게 하는 중요한 전환점이 됩니다.

• 서열 기반 추론의 혁신: 단백질 분석이 단순히 텍스트 검색을 넘어, 실제 아미노산 서열 정보를 검색 계획과 의사결정에 직접 통합함으로써 정확한 과학적 추론을 가능하게 했습니다.
• 과정 중심 학습: 최종 답변뿐만 아니라 검색 과정 (키워드, 도구 선택, 형식) 을 강화학습으로 제어함으로써, 복잡한 과학적 질문에 대한 체계적이고 오류가 적은 해결책을 제시합니다.
• 미래 전망: 제안된 프레임워크는 새로운 단백질 패밀리에 대한 적응 학습 및 동적으로 진화하는 지식 소스에 대한 온라인 검색 감독을 통해 향후 더 넓은 범위의 생물학적 발견을 지원할 잠재력을 가지고 있습니다.