GermRL: Alleviating The Germline Bias In Autoregressive Antibody Language Models Through Reinforcement Learning

당신이 특정 질병을 여는 강력한 새 열쇠를 발명하려고 노력하고 있다고 상상해 보세요. 생물학의 세계에서 이 열쇠들은 **항체(antibodies)**라고 불립니다.

좋은 열쇠를 만들려면, 기본이 되는 "마스터 템플릿"(생식선/germline이라 불림)에서 시작하여, 이를 미세하게 조정하고 고유한 돌기와 홈(돌연변이/mutations)을 추가하여 특정 자물쇠(질병)에 완벽하게 맞도록 만들어야 합니다.

문제점: "복사-붙여넣기" 습관

최最近 과학자들은 새로운 항체 열쇠를 설계하는 법을 배우기 위해 수백만 개의 기존 항체 열쇠를 읽어 들이는 AI 컴퓨터(자기회귀 언어 모델/Autoregressive Language Models)를 구축했습니다. 이 AI 컴퓨터들이 새로운 디자인을 발명하는 데 매우 뛰어날 것이라고 생각할 수도 있습니다.

하지만 함정이 있습니다. 이 AI들은 나쁜 습관을 가지고 있습니다. 바로 원래의 마스터 템플릿에 너무 집착한다는 것입니다. 마치 창의적인 이야기를 써달라는 요청을 받았을 때, 교과서의 첫 문장을 계속해서 복사해서 쓰는 학생과 같습니다. 이들은 생식선(원래의 템플릿)을 너무 강하게 유지하기 때문에, 진정으로 새롭고 효과적인 열쇠를 만들기 위해 필요한 과감한 변화를 거의 시도하지 않습니다. 이를 **생식선 편향(Germline Bias)**이라고 합니다.

해결책: GermRL (강력한 코치)

이 논문은 GermRL이라는 새로운 도구를 소개합니다. GermRL을 새로운 선생님이라기보다, AI를 위한 강력한 코치라고 생각하세요.

이 코치는 강화 학습(Reinforcement Learning)(구체적으로 GRPO라는 기법)을 사용하는 방법입니다. 작동 방식은 다음과 같습니다:

1. 목표: 코치는 AI에게 "새로운 항체를 만들되, 원래 템플릿과 특정 정도(예: 5번의 변화 또는 35번의 변화)만큼 달라야 한다"라고 말합니다.
2. 보상 시스템: 만약 AI가 기존 템플레를 단순히 복사함으로써 속임수를 쓰려고 하면, 코치는 "엄지 아래로(부정적 피드백)"를 줍니다. 만약 AI가 요구된 차이 조건을 충족하면서 유효한 새로운 항체를 성공적으로 만들어내면, 코치는 "엄지 위로(긍정적 보상)"를 줍니다.
3. 비결: 연구진은 AI가 "시스템을 악용(reward hacking)"하는 것을 막기 위해 코치의 플레이북에 특별한 규칙을 추가했습니다. 이는 AI가 단순히 흉내 내는 것이 아니라, 실제로 구조적인 변화를 만드는 법을 배우도록 보장합니다.

결과: "아마도"에서 "거의 항상"으로

논문은 이 코치를 훈련되지 않은 AI와 비교 테스트했습니다:

• 기존 AI: 35번의 변화를 가진 항체를 만들라고 요청했을 때, 성공률은 단 **3.4%**였습니다. 이 AI는 원래 템플릿이라는 안주 구역을 벗어나는 것을 너무 두려워했습니다.
• GermRL (코칭을 받은 AI): 동일한 질문을 했을 때, 성공률은 **95%**였습니다. 더 적은 변화(5번의 돌연변이)에 대해서는 성공률이 **99.2%**에 달했습니다.

이것이 중요한 이유

이 논문은 GermRL이 단순히 무작위적인 소음을 만드는 것이 아님을 보여줍니다. GermRL은 다음과 같은 항체를 만들어냅니다:

• 구조적으로 타당함 (실제로 작동하는 열쇠처럼 보입니다).
• 원래의 가족(생식선 할당)이라는 "지문"을 여전히 유지하여, 그들이 어디에서 왔는지 알 수 있게 합니다.
• 새로운 진화적 경로를 탐색하여, 자연이 아직 시도하지 않았을 수도 있지만 여전히 안전하게 작동하는 다양한 방식의 열쇠 제작법을 찾아냅니다.

요약하자면: GermRL은 AI가 기존의 항체 디자인을 게으르게 복사하는 것을 멈추고, 과학자들이 필요로 하는 방식 그대로 자신 있게 새롭고 다양하며 생물학적으로 유효한 디자인을 발명하도록 가르치는 가벼운 훈련 방법입니다.