From Words to Amino Acids: Does the Curse of Depth Persist?

다음은 "From Words to Amino Acids: Does the Curse of Depth Persist?" 논문에 대한 상세한 기술적 요약입니다:

1. 문제 제기

최근 대규모 언어 모델 (LLM) 에 대한 분석은 "깊이의 저주 (Curse of Depth)"를 식별했습니다. 이는 자기회귀형 트랜스포머에서 깊은 층들이 최종 예측에 거의 기여하지 않고, 대부분의 작업 관련 계산이 초기 또는 중간 층에서 이루어지는 현상입니다. 후기 층들은 새로운 정보를 생성하기보다는 출력 분포의 점진적 정제 역할을 주로 수행합니다.

이 연구의 핵심 질문은 이러한 깊이 비효율성이 단백질 언어 모델 (PLM) 에서도 존재하는지 여부입니다. LLM 과 달리 PLM 은 다음과 같은 특징을 자주 활용합니다:

• 비자기회귀적 목표: 마스크 언어 모델링 (MLM) 및 이산 확산 (Discrete Diffusion) 등.
• 멀티모달 입력: 시퀀스 외에도 단백질 구조와 기능을 포함.
• 서로 다른 확장 패러다임: 전문가 혼합 (Mixture-of-Experts, MoE) 아키텍처 포함.

저자들은 "깊이의 저주"가 깊은 트랜스포머 기반 모델의 보편적 속성인지, 아니면 단백질 모델링의 고유한 제약 (생물학적 구조, 진화적 제약) 이 깊이 활용 방식에 영향을 미치는지 조사했습니다.

2. 방법론

저자들은 크기 (8M~15B 파라미터) 와 학습 목표 (자기회귀, 마스크, 확산, 멀티모달) 의 광범위한 스펙트럼을 포괄하는 7 개 PLM 패밀리의 26 개 모델 변형에 대해 체계적인 깊이 분석을 수행했습니다.

그들은 세 가지 유형의 측정을 결합한 통일된 프레임워크를 사용했습니다:

A. 개입 분석 (층 건너뛰기)

LLM 연구의 "skiplayer"방법을 조정하여 특정 층을 건너뛸 때의 전파 효과를 측정했습니다:

• 자기회귀 모델: 초기 토큰에 대한 층 건너뛰기와 미래 토큰 예측에 미치는 영향 측정.
• 마스크/확산 모델: 마스크된 토큰의 부분집합에 대한 층 건너뛰기와 나머지 개입되지 않은 마스크 토큰에 미치는 영향 측정.
• 지표: 하류 은닉 상태와 출력 노름의 상대적 변화.

B. 표현 유사성 분석

• 층 간 유사성: 네트워크를 통해 전파되는 동안 정보가 얼마나 강하게 변화하는지 정량화하기 위해 다양한 층의 표현 간 **선형 CKA (Centered Kernel Alignment)**를 계산.
• 크로스-모달 유사성: 멀티모달 모델 (ESM3, DPLM2) 의 경우, 대응하는 층에서 시퀀스 기반 표현과 구조 기반 표현 간의 코사인 유사도를 계산하여 모달리티가 어떻게 정렬되고 구별되는지 이해.

C. 출력 분포의 진화

LogitLens와 TunedLens를 사용하여 각 층에서 암시된 토큰 예측 분포를 추출했습니다.

• 지표: 중간 층 분포와 최종 출력 간의 KL 발산 측정 및 Top-1 중첩(가장 확률이 높은 토큰 일치) 측정.

D. 하류 유용성 평가

내재적 측정을 실제 성능과 연결하기 위해 돌연변이 영향 제로샷 예측을 위한 대규모 벤치마크인 ProteinGym(217 개의 딥 돌연변이 스캐닝 어세이) 에서 층별 성능을 평가했습니다. Early-Exit 층에서 이루어진 예측과 실험 데이터 간의 스피어만 순위 상관관계를 측정했습니다.

3. 주요 기여

1. PLM 에서의 첫 체계적 깊이 연구: 다양한 PLM 패밀리, 목표, 모달리티에 걸친 깊이 활용에 대한 포괄적인 분석 제공.
2. 통일된 프레임워크: 자기회귀, 마스크, 확산 기반, 멀티모달 모델을 비교하기 위한 일관된 방법론 개발로, 깊이 비효율성이 다음 토큰 예측에만 국한되지 않음을 입증.
3. 일반화된 깊이 비효율성 발견: 현대 PLM 의 공통된 특징으로서 "깊이의 저주"가 존재함을 입증. 하류 관련 신호의 대부분을 포착하는 층의 부분집합 (종종 중간 층) 이 존재하고, 후기 층은 체감하는 한계 수익을 제공함.
4. 모달리티별 통찰: 멀티모달 모델 (특히 ESM3) 에서 서로 다른 깊이 프로파일을 발견하고 크로스-모달 정렬 역학을 통해 그 행동을 설명.

4. 주요 결과

A. PLM 에서 깊이의 저주가 지속됨

모든 모델 패밀리 (ESM2, DPLM, ProGen 등) 에서 저자들은 일관된 패턴을 관찰했습니다:

• 초기~중간 층: 이러한 층을 건너뛰면 하류 계산에 상당한 교란을 일으키고 하류 성능을 급격히 저하시킴.
• 후기 층: 마지막 층의 상당 부분 (예: 마지막 30~50%) 을 건너뛰어도 하류 표현에는 최소한의 변화가 발생하고 ProteinGym 성능은 미미하게만 저하됨.
• 확장 효과: 모델 크기가 커질수록 이러한 비효율성이 더 두드러짐. 대형 모델 (예: ESM2-15B) 의 경우 성능이 포화되는 "꺾임" 지점이 상대적 깊이에서 더 일찍 발생함.

B. 출력 분포의 정제

• TunedLens 분석: 중간 층 분포와 최종 출력 간의 KL 발산이 깊이에 따라 지속적으로 감소함.
• 안정성: Top-1 예측은 종종 마지막 층보다 훨씬 일찍 안정화됨. 후기 층들은 예측된 토큰 자체를 변경하기보다는 예측의 신뢰도 (확률 질량) 를 주로 정제함.

C. 멀티모달 및 확산 모델

• 일반화: 깊이 비효율성 패턴은 순수 구조 기반 또는 결합된 시퀀스 - 구조 입력을 처리하는 확산 모델(DPLM, DPLM2) 과 멀티모달 모델(ESM3, DPLM2) 에도 적용됨.
• ESM3 이상: ESM3 은 뚜렷한 깊이 프로파일을 보임. 다른 모델들이 초기 층이 중요한 것과 대조적으로, ESM3 은 초기 층에서 약한 전파 효과를 보이며 중간~후기 층에서 더 강한 기여를 함.
  • 설명: 크로스-모달 유사성 분석 결과, ESM3 의 처음 약 60% 층은 공통 공간에서 시퀀스 및 구조 표현의 정렬을 담당하는 것으로 나타남. 일단 정렬되면 후기 층이 작업별 계산을 수행함.

D. 희소 아키텍처 (MoE)

• ProGen3: 희소 전문가 혼합 (Mixture-of-Experts) 모델인 ProGen3 은 밀집 모델에 비해 덜 두드러진 "깊이의 저주"를 보임. 고효과 및 저효과 층 간의 분리가 확장됨에 따라 밀집 모델만큼 심화되지 않았으며, 이는 희소성이 깊이 비효율성을 완화할 수 있음을 시사함.

5. 의미 및 함의

• 아키텍처 효율성: 결과는 현재 깊은 PLM 이 계산적으로 비효율적임을 시사함. 상당한 추론 비용 (FLOPs) 이 최종 출력에 거의 기여하지 않는 층에 사용됨.
• 미래 방향: 이 논문은 다음과 같은 개발을 장려함:
  • 적응형 계산: 추론 중 중복된 층을 건너뛰는 Early-Exit 메커니즘 또는 동적 깊이 정책.
  • 성장/루핑 아키텍처: 훈련 중 깊이를 확장하거나 층을 재사용 (루핑) 하여 활용도를 높이는 모델.
  • 희소 모델: ProGen3 의 성공은 MoE 아키텍처가 단백질 모델을 확장하는 더 효율적인 방법일 수 있음을 시사함.
• 멀티모달 설계: ESM3 의 상이한 행동은 멀티모달 설정에서 초기 깊이가 작업 계산이 아닌 모달리티 정렬에 소비될 수 있음을 강조하며, 향후 모델이 전문화된 "정렬" 모듈 다음에 작업별 "계산" 스택을 따르는 구조에서 혜택을 볼 수 있음을 시사함.

요약하자면, "깊이의 저주"는 자기회귀형 LLM 에만 국한된 것이 아니라, 학습 목표나 모달리티에 관계없이 현대적인 깊은 트랜스포머 기반 단백질 모델의 근본적인 특징입니다. 이러한 통찰은 깊이 효율적인 단백질 AI 아키텍처로의 패러다임 전환을 요구합니다.