💻 computer science

STRIDE: Post-Training LLMs to Reason and Refine Bio-Sequences via Edit Trajectories

이 논문은 이산적 생체 시퀀스 최적화 문제를 해결하기 위해, LLM 이 검증 가능한 편집 추론 궤적 (INSERT/DELETE/REPLACE) 을 생성하도록 학습하는 'STRIDE'라는 후학습 프레임워크를 제안하여 단백질 편집 성공률과 신규성을 크게 향상시킨 결과를 보여줍니다.

원저자: Daiheng Zhang, Shiyang Zhang, Sizhuang He, Yangtian Zhang, Syed Asad Rizvi, David van Dijk

게시일 2026-03-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Daiheng Zhang, Shiyang Zhang, Sizhuang He, Yangtian Zhang, Syed Asad Rizvi, David van Dijk

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

STRIDE: 생물의자를 '수정'하는 새로운 지능형 비서

이 논문은 STRIDE라는 새로운 인공지능(AI) 시스템을 소개합니다. 이 시스템은 단백질이나 약물 분자 같은 복잡한 생물학적 '문자열'을 원하는 대로 고쳐주는 데 특화되어 있습니다.

기존의 AI 는 새로운 것을 '창조'하는 데는 뛰었지만, 기존 것을 '조심스럽게 수정'하는 데는 약점이 있었습니다. STRIDE 는 이 문제를 해결하기 위해 AI 가 마치 편집자가 원고를 고치듯, 하나하나 단어를 바꾸는 과정을 논리적으로 설명하며 수정하는 방식을 개발했습니다.

이해를 돕기 위해 몇 가지 비유를 들어 설명해 드리겠습니다.

1. 문제: "완벽한 새 집을 짓는 것" vs "기존 집을 리모델링하는 것"

생물학 연구에서 우리는 두 가지 일을 합니다.

새로운 것 만들기: 처음부터 새로운 단백질이나 약물을 설계하는 것 (새 집을 짓는 것).
기존 것 다듬기: 이미 작동하는 단백질이나 약물을 조금만 고쳐서 더 효과 있게 만드는 것 (기존 집을 리모델링하는 것).

기존 AI 의 한계:

확산 모델 (Diffusion Models): 점진적으로 노이즈를 제거하며 이미지를 만드는 방식입니다. 하지만 생물학적 문자열 (단백질이나 DNA) 을 고칠 때는 "여기서 알파벳 A 를 지우고, B 를 넣으라"는 구체적인 지시를 내리기 어렵습니다. 마치 그림을 그릴 때 "이 부분을 조금만 고쳐라"라고 말하기는 쉽지만, "이 픽셀을 지우고 저 픽셀을 옮겨라"라고 구체적으로 지시하기 힘든 것과 비슷합니다.
일반적인 LLM (대형 언어 모델): 글을 잘 쓰지만, 긴 계획을 세우는 데는 약합니다. "집을 리모델링하자"라고 하면, 벽을 다 부수고 처음부터 다시 짓거나, 엉뚱한 부분을 고쳐서 집이 무너질 수도 있습니다.

2. 해결책: STRIDE 의 "수정 궤적 (Edit Trajectory)" 전략

STRIDE 는 "수정 과정 자체를 생각하며 답을 내놓는" 방식을 사용합니다.

🧩 비유: "건축 현장의 감독관"

STRIDE 는 단순히 "완성된 집"을 보여주는 대신, 현장 감독관처럼 행동합니다.

기존 AI: "여기서 멋진 집이 나올 거예요!"라고 말하며 완성된 집을 보여줍니다. (하지만 구조가 무너질 수 있음)
STRIDE: "자, 1 단계: 3 층 창문 위치를 2 미터 오른쪽으로 옮깁니다. 2 단계: 2 층 벽돌 3 개를 제거합니다. 3 단계: 지붕에 새 타일을 5 장 추가합니다."라고 단계별로 구체적인 수정 명령을 내립니다.

이렇게 **INSERT(삽입), DELETE(삭제), REPLACE(대체)**라는 3 가지 기본 동작을 조합하여, 원본을 목표물로 바꾸는 **수정 경로 (Trajectory)**를 만들어냅니다.

3. STRIDE 가 배우는 두 단계 과정

STRIDE 는 두 단계의 훈련을 통해 이 능력을 습득합니다.

📚 1 단계: "모범 답안 따라하기" (SFT - 감독 학습)

상황: 컴퓨터는 이미 '원본'과 '완벽한 목표물'을 알고 있습니다.
학습: 컴퓨터는 **레벤슈타인 거리 (Levenshtein distance)**라는 수학적 알고리즘을 이용해, 원본을 목표물로 바꾸는 가장 짧고 효율적인 수정 방법을 먼저 찾아냅니다.
결과: AI 는 "가장 적은 노력으로 가장 정확하게 고치는 법"을 배웁니다. 마치 숙제 답지를 보고 "어떻게 문제를 풀었는지"를 단계별로 외우는 것과 같습니다.

🏆 2 단계: "실전 점수 맞추기" (GRPO - 강화 학습)

상황: 이제 AI 는 수정 방법을 알지만, "실제로 효과가 있을까?"를 확인해야 합니다.
학습: AI 가 만들어낸 수정 방법을 실제로 적용해보고, 그 결과가 원하는 기능 (예: 더 강한 형광, 더 좋은 약물 효과) 을 내는지 점수를 매깁니다.
보상: 점수가 높으면 "잘했어!"라고 칭찬하고, 점수가 낮거나 문법 오류 (예: 약물의 화학식이 깨짐) 가 나면 "다시 해봐"라고 합니다.
핵심: AI 는 점수를 높이면서도, 1 단계에서 배운 "논리적인 수정 방식"을 잊지 않도록 훈련받습니다.

4. 왜 이것이 중요한가요? (실제 성과)

이 방법을 적용한 결과, STRIDE 는 놀라운 성과를 보였습니다.

단백질 형광 최적화: 기존 AI 가 42% 만 성공하던 것을, STRIDE 는 **89%**까지 성공률을 높였습니다.
새로움 (Novelty): 단순히 기존 것을 복사하는 것이 아니라, **97%**의 새로운 변형을 만들어냈습니다.
통제 가능성: "여기서만 고쳐라", "이 부분은 건드리지 마라"는 지시를 매우 정확하게 따릅니다.

5. 요약: STRIDE 가 주는 메시지

STRIDE 는 **"생물학적 설계는 단순히 무작위로 변형하는 것이 아니라, 논리적이고 단계적인 수정 과정이 필요하다"**는 것을 증명했습니다.

마치 유능한 편집자가 원고를 고칠 때, "이 문장을 지우고 저 문장을 붙여라"라고 구체적으로 지시하듯, STRIDE 는 AI 가 생물학적 분자를 안전하고 정확하게, 그리고 창의적으로 다듬을 수 있게 해줍니다. 이는 신약 개발이나 맞춤형 치료제 개발 속도를 획기적으로 높여줄 것으로 기대됩니다.

한 줄 요약:
STRIDE 는 AI 가 생물학적 분자를 고칠 때, "무작위 변형" 대신 "논리적인 수정 단계 (수정 궤적)"를 생각하며 단계별로 고치는 새로운 방식을 개발하여, 더 정확하고 창의적인 결과를 만들어냅니다.

` 태그 안에 편집 궤도 (Reasoning Trace) 를 생성하고, 그 뒤에 최종 타겟 시퀀스를 출력하도록 학습시킵니다. 이를 통해 모델은 유효성 보존 (Validity-preserving) 및 최소 편집 편향 (Minimal-edit bias) 을 내재화합니다.

2 단계: 그룹 상대 정책 최적화 (GRPO) 를 통한 보상 정렬
- 목표: 1 단계에서 학습된 유효한 편집 논리를 유지하면서, 특정 작업 보상 (예: 형광 강도 증가, 약물 유사성 향상) 을 최대화하도록 궤도를 정렬합니다.
- 방법: 그룹 상대 정책 최적화 (Group Relative Policy Optimization, GRPO) 를 적용하여 KL 정규화를 통해 1 단계 참조 정책 ( $\pi_{ref}$ ) 에서 크게 벗어나지 않도록 합니다.
- 보상 설계:
  - 단백질: 형광 오라클 점수 향상 및 편집 예산 (1~3 개 편집) 준수 여부.
  - 분자: RDKit 을 통한 유효성 검사, 목표 속성 만족도, 입력 대비 구조적 유사성 (Tanimoto similarity), 그리고 원치 않는 속성 변화 (Off-target drift) 에 대한 패널티.

추론 과정 (Inference)

사용자 명령 (Instruction) 과 입력 시퀀스를 받으면, LLM 은 단계별 편집 행동 (예: "위치 6 에 C 삽입", "위치 3 의 N 삭제") 을 추론하고, 이를 실행하여 최종 수정된 시퀀스를 생성합니다.

3. 주요 기여 (Key Contributions)

실행 가능한 가변 길이 편집 궤도 최적화: INSERT/DELETE/REPLACE 와 같은 원자 편집에 대한 계획 문제로 최적화를 공식화하여, 인덱스 일관성을 갖춘 가변 길이 편집을 가능하게 함.
Levenshtein 역추적을 통한 궤도 지도 학습: 결정론적 DP 알고리즘을 사용하여 최적의 편집 스크립트를 생성하고 이를 SFT 데이터로 활용, 최소 편집 및 유효성 보존 우선순위를 학습시킴.
보상 정렬 후 학습 (Reward-aligned Post-training): KL 정규화가 포함된 그룹 기반 정책 최적화를 통해 편집 궤도를 작업 목표와 정렬하면서도 일관된 편집 행동을 유지함.
엄격한 제어 하의 실증적 성과: 단백질 및 분자 최적화 벤치마크에서 성공률 향상과 동시에 다양성/신규성 (Novelty) 을 크게 증대시켰으며, 특히 가변 길이 편집 환경에서 기존 방법 대비 우월한 성능을 입증함.

4. 실험 결과 (Results)

단백질 형광 최적화 (TAPE 데이터셋)

가변 길이 편집 (Insert/Delete/Replace 포함):
- STRIDE 는 **89%**의 성공률을 기록하여, 기존 베이스라인 (Vanilla SFT: 42%, Edit Flow: 79%) 을 크게 상회했습니다.
- 다양성 및 신규성: 성공한 샘플 중 고유한 시퀀스 비율이 78/79, 신규성 (훈련 세트에 없는 시퀀스) 이 76/78 로 매우 높았습니다. 이는 STRIDE 가 단순한 훈련 데이터 복제가 아닌 창의적인 탐색을 수행함을 의미합니다.
치환만 가능한 편집 (Replace-only):
- STRIDE 는 61% 성공률을 보였으며, Zero-Shot 및 다른 확산 기반 모델 (EvoDiff, Edit Flow) 보다 우수한 다양성과 신규성을 달성했습니다.

분자 최적화 (DrugAssist 벤치마크)

제어 가능성 (Controllability):
- 직접 생성 (Vanilla SFT) 은 목표 달성률은 높았으나, 원치 않는 속성 변화 (Off-target drift) 가 심했습니다.
- STRIDE-GRPO 및 STRIDE-GSPO 는 목표 달성률을 높이면서도 비목표 속성 변화율 (Shift Rate) 을 크게 감소시켰습니다. 특히 STRIDE-GSPO 는 성공률 (Strict: 0.676) 과 안정성 (Shift Rate: 0.755) 간의 최적 균형을 보였습니다.
유효성: STRIDE 는 생성된 분자의 유효성 (RDKit 파싱 성공) 을 75% 에서 90% 이상으로 크게 향상시켰습니다.

5. 의의 및 결론 (Significance)

해석 가능한 최적화: STRIDE 는 블랙박스 생성이 아닌, 명시적인 편집 궤도 (Edit Trajectory) 를 통해 최적화 과정을 투명하게 보여줍니다. 이는 과학적 발견 과정에서 인간의 개입과 검증을 용이하게 합니다.
제약 조건 하의 유연성: 확산 모델의 점진적 정제와 LLM 의 구조적 신뢰성을 결합하여, 삽입/삭제가 포함된 복잡한 가변 길이 편집 환경에서도 강력한 성능을 발휘합니다.
미래 전망: 이 연구는 치료제 개발 및 합성 생물학 분야에서 실험 비용 절감과 신뢰할 수 있는 과학적 AI 시스템 구축에 기여할 잠재력을 가지며, 향후 더 긴 게놈 컨텍스트와 실험적 검증을 통한 오라클 개선으로 확장될 수 있습니다.

요약하자면, STRIDE는 LLM 이 생물학적 시퀀스를 최적화할 때 단순히 결과만 내는 것이 아니라, 어떻게 편집할지 논리적으로 추론하고 실행 가능한 단계별 계획을 수립하도록 훈련시킴으로써, 정확성, 유효성, 그리고 창의적인 다양성을 동시에 달성한 획기적인 프레임워크입니다.