Off-Manifold Collapse in Guided Protein Language Models
이 논문은 가이드형 단백질 언어 모델에서 강력한 가이드가 속성 오라클을 속이는 저복잡도의 접힘 불가능한 서열을 생성하는 실패 모드인 "오프-매니폴드 붕괴(off-manifold collapse)"를 식별하고, 자연스러운 활성화 통계를 기준으로 필터링하여 이러한 유효하지 않은 후보들을 탐지하고 제거하기 위한 훈련이 필요 없는 "마할라노비스 필터링(Mahalanobis filtering)" 후처리 단계를 제안한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
단백질은 모든 생명체를 구축하고 운영하는 분자 기계입니다. 단백질은 아미노산이라고 불리는 빌딩 블록들의 긴 사슬이며, 이 블록들의 특정 순서가 사슬이 3차원 구조로 어떻게 접힐지를 결정합니다. 그 형태가 단백질이 음식을 소화하거나, 감염과 싸우거나, 신호를 전달하는 것과 같은 기능을 수행할 수 있게 해줍니다. 수십 년 동안 과학자들은 처음부터 새로운 단백질을 설계하려고 노력해 왔지만, 가능한 서열의 공간이 너무 방대하여 유용한 것을 찾는 것은 마치 건초더미에서 바늘을 찾는 것과 같습니다. 최근 몇 년 동안 인공지능은 새로운 돌파구를 제시했습니다. 수백만 개의 천연 단백질을 학습한 대규모 컴퓨터 모델들은 이 사슬들이 어떻게 행동하는지에 대한 숨겨진 규칙을 학습했습니다. 이제 이 모델들은 천연 단백질처럼 보이고 작동하는 새로운 단백질 서열을 생성할 수 있어, 의약품이나 산업용 효소를 만드는 강력한 도구로 활용되고 있습니다.
하지만 한 새로운 연구는 과학자들이 특정 새로운 특성(예: 더 높은 용해도 또는 더 나은 내열성)을 가진 단백질을 만들기 위해 현재 이러한 AI 모델을 미세하게 조정하는 방식에 결정적인 결함이 있음을 밝혀냈습니다. 연구진은 원하는 특성을 달ชัน하기 위해 AI를 너무 강하게 밀어붙이면, 모델이 더 이상 현실적인 단백질을 생성하지 않는다는 사실을 발견했습니다. 대신, 모델은 자체적인 내부 논리에 따르면 생성된 서열이 무작위적인 노이즈처럼 보이는 상태로 붕괴됩니다. 비록 별도의 채점 시스템은 여전히 그것들을 성공적이라고 평가하더라도 말입니다. 연구팀은 AI가 작업을 마친 후 이러한 실패를 포착할 수 있는 간단하고 빠른 방법을 발견했으며, 이를 통해 모델을 재학습시키거나 서열 생성 방식을 변경하지 않고도 고장 난 설계안들을 걸러낼 수 있게 되었습니다.
이 문제는 연구자들이 언어 모델을 특정 목표를 향하도록 유도하려고 할 때 발생합니다. 모델이 알려진 모든 단백질 서열을 읽고 자연스러운 단백질을 만드는 미묘한 패턴을 이해하고 있다고 상상해 보십시오. 과학자들은 생성 과정 중에 모델의 내부 계산에 특정 방향을 추가함으로써 이 모델을 부드럽게 유도할 수 있으며, 이는 실질적으로 "이 단백질을 더 잘 녹게 만들어라"라고 말하는 것과 같습니다. '활성화 스티어링(activation steering)'이라고 알려진 이 기술은 전체 모델을 재학습시키는 복잡하고 비용이 많이 드는 과정을 필요로 하지 않기 때문에 인기가 있습니다. 하지만 여기에는 숨겨진 대가가 있습니다. 스티어링 힘이 너무 강하면, 모델은 자신이 학습한 자연스러운 패턴에 대한 통제력을 잃게 됩니다. 모델은 통계적으로 무작위 아미노산 문자열과 구별할 수 없는 서열을 생성하기 시작합니다.
연구진은 용해도를 테스트할 때 이 실패를 명확하게 관찰했습니다. 완만한 유도 하에서 AI는 잘 접히고 용해도가 개선된 단백질을 생성했습니다. 그러나 스티어링의 강도를 높임에 따라 생성된 단백질의 품질이 급격히 떨어졌습니다. 모델은 거의 전적으로 단일 아미노산인 글리신으로 구성된 긴 사슬을 배출하기 시작했습니다. 이 사슬들은 너무 단순하고 반복적이어서 기능적인 형태를 갖추어 접힐 수 없었습니다. 그럼에도 불구하고 용해도를 판단하는 컴퓨터 프로그램은 이 고장 난 사슬들에 완벽한 점수를 부여했습니다. 모델은 무작위적인 노이즈가 우연히 모방한 특정 신호를 채점 시스템이 찾고 있었기 때문에, 무작위적인 붕괴 서열을 성공으로 착각하도록 속았습니다. AI는 자연스럽고 기능적인 단백질이 존재하는 곡면을 의미하는 용어인 '매니폴드(manifold)'를 벗어나, 통계적 무작위성의 영역으로 떨어졌던 것입니다.
왜 이런 일이 일어났는지 이해하기 위해, 팀은 서열을 생성하는 동안 모델의 내부 "두뇌"를 들여다보았습니다. 그들은 모델이 각 아미노산에 대해 생성하는 수학적 표현을 조사했습니다. 건강한 생성 과정에서 이러한 표현들은 모델이 자연 단백질로부터 학습한 특정 값의 범위 내에 머뭅-니다. 스티어링이 너무 공격적이 되었을 때, 이 값들은 축소되어 평균을 향해 붕괴되었고, 실제 단백질을 정의하는 고유한 변동성을 잃었습니다. 연구진은 이 붕괴가 신뢰할 수 있는 경고 신호라는 것을 발견했습니다. 단백질 서열이 완전히 형성되기도 전에, 모델의 내부 상태는 이미 실패의 징후를 보이며 무작위 문자를 추측할 때의 상태와 구별할 수 없게 되었습니다.
연구팀이 제안한 해결책은 놀라울 정도로 간단하며 새로운 학습을 요구하지 않습니다. 그들은 AI가 생성하는 모든 단백질에 대한 최종 점검 역할을 하는 필터를 개발했습니다. 모델이 서열 생성을 마치면, 이 필터는 해당 서열의 내부 표현이 천연 단백질과 비교했을 때 얼마나 전형적인지를 바탕으로 단일 점수를 계산합니다. 만약 점수가 너무 낮아 서열이 무작위성으로 붕괴되었음을 나타내면, 필터는 해당 서열을 폐기합니다. 점수가 충분히 높으면 서열을 유지합니다. 이 과정은 믿기지 않을 정도로 빠르며, 단백질 하나당 단 몇 분의 1초밖에 걸리지 않고 아주 적은 양의 컴퓨터 메모리만을 사용합니다. 이는 AI가 단백질을 생성하는 방식을 바꾸는 것이 아니라, AI가 만들어낸 결과물 중에서 좋은 것들을 선택하는 것뿐입니다.
연구진이 실험에 이 필터를 적용했을 때, 결과는 놀라웠습니다. 동일한 수준의 스티어링 힘에 대해, 필터링된 단백질 세트는 필터링되지 않은 세트보다 훨씬 높은 구조적 품질을 보였습니다. 단백질들은 안정적인 형태를 갖추어 접힐 가능성이 더 높았으며, 연구진이 찾고자 했던 개선된 특성들도 여전히 유지하고 있었습니다. 이 필터는 그래디언트(gradient)를 사용하여 모델을 유도하는 방법을 포함하여 다양한 유형의 가이드에서도 똑같이 잘 작동했으며, 이는 문제가 특정 기술에 국한된 것이 아님을 증명했습니다. 연구팀은 단순히 자연스러운 경로에서 벗어난 서열들을 거부함으로써, AI가 통계적 노이즈 더미 아래에 실수로 묻어버린 고품질의 설계안들을 회복할 수 있음을 보여주었습니다.
이 발견은 AI를 이용한 단백질 설계에 과학자들이 어떻게 접근해야 하는지를 변화시킵니다. 이는 가장 명백한 성공의 징후, 즉 특성 예측기로부터 얻은 높은 점수만으로는 충분하지 않다는 것을 시사합니다. 어떤 서열은 컴퓨터 테스트에서는 완벽한 점수를 받을 수 있지만, 구조적으로는 쓸모없을 수 있습니다. 연구진은 모델의 내부 상태가 설계가 진짜인지 가짜인지에 대한 진실을 담고 있다는 것을 입증했습니다. 그 내부 상태에 귀를 기울임으로써, 그들은 신호와 노이즈를 구분할 수 있습니다. 이 연구는 단백질 설계의 문제를 완전히 해결했다고 주장하거나 실제 실험실 테스트의 필요성을 대체하는 것이 아닙니다. 대신, AI가 생성한 디지털 설계가 실제로 실험실에서 테스트할 가치가 있는지를 확인하기 위한 실용적이고 저비용의 도구를 제공하며, 연구자들이 수학적 환상에 불과한 서열에 시간을 낭비하는 것을 방지해 줍니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.