SAE-RNA: A Sparse Autoencoder Model for Interpreting RNA Language Model Representations

기술적 요약: SAE-RNA

문제 및 동기
RiNALMo와 같은 대규모 언어 모델 (LLM) 이 임베딩 내에서 다양한 속성을 포착함으로써 RNA 모델링을 발전시켰지만, 이러한 표현의 내부 조직은 여전히 대부분 불투명합니다. SHAP 및 통합 기울기 (Integrated Gradients) 와 같은 기존 해석 가능성 방법들은 주로 모델 출력을 입력 뉴클레오타이드에 귀속시키지만, 모델의 숨겨진 상태 내에 인코딩된 의미론적 개념들을 드러내지는 못합니다. 저자들은 이러한 숨겨진 표현을 이해하는 것이 모델 행동을 알려진 생물학과 정렬시키고 잠재적으로 새로운 패턴을 발견하는 데 필수적이라고 주장합니다. 자연어 및 단백질 모델링에서 희소 오토인코더 (SAE) 의 성공 (예: Anthropic 의 Neuronpedia, InterPLM) 에서 영감을 받아, 본 연구는 SAE 가 RNA 언어 모델 표현을 생물학적 구조 및 가족에 대응하는 해석 가능하고 희소한 특징들로 분해할 수 있는지 조사합니다.

방법론: SAE-RNA
제안된 프레임워크인 SAE-RNA 는 세 가지 주요 단계로 작동합니다:

1. 임베딩 추출: 저자들은 RNACentral 데이터셋으로 훈련된 650M 파라미터 RNA 언어 모델인 RiNALMo 를 활용합니다. RNACentral 의 시퀀스에 대해 특정 트랜스포머 레이어 (1, 9, 18, 24, 30, 33) 에서 숨겨진 상태를 추출하여 토큰 수준의 임베딩 행렬 ($L \times 1280$) 을 생성합니다.
2. 희소 오토인코더 훈련: 각 선택된 레이어에 대해, 밀집 임베딩 ($x \in \mathbb{R}^{1280}$) 을 희소 특징 공간 ($f \in \mathbb{R}^{10240}$) 으로 매핑하는 과완전 (overcomplete) SAE 를 훈련합니다. 아키텍처는 ReLU 활성화 함수를 가진 선형 인코더와 연결되지 않은 가중치를 가진 선형 디코더로 구성됩니다. 훈련 목적 함수는 재구성 오차 ($\|x - \hat{x}\|_2^2$) 를 최소화하면서 L1 페널티 ($\lambda \|f\|_1$) 를 통해 희소성을 강제하며, 여기서 $\lambda$는 $3 \times 10^{-3}$로 설정됩니다.
3. 특징 국소화 및 주석:
   • 국소화: 활성화가 집계되어 시퀀스 수준의 프로파일을 생성함으로써, 뉴클레오타이드 수준 (예: 스템 대 루프) 및 가족 수준에서 개념을 국소화할 수 있습니다.
   • 생물학적 정렬: 특징들은 두 가지 데이터셋에 대해 평가됩니다:
     • bpRNA-90: 활성화가 정밀한 2 차 구조 요소 (스템, 헤어핀, 내부 루프 등) 및 모티프로 매핑되도록 사용됩니다.
     • RNAcentral: 특징들이 특정 비코딩 RNA(ncRNA) 가족 (예: tRNA, 리보스위치, snoRNA) 내에서 선호적으로 활성화되는지 테스트하는 데 사용됩니다.
   • 주석: 2 단계 파이프라인이 사용됩니다. 먼저, GPT-5 와 같은 LLM 에 활성화 통계, 예시 스팬 (시퀀스 및 구조적 맥락 포함), 그리고 표준 모티프 참조 목록을 프롬프트하여 설명적 레이블을 생성합니다. 둘째, 이러한 레이블은 주요 모티프 관련 특징에 대해 구조적 매핑과 수동으로 교차 검증됩니다.

주요 결과

• 구조적 정렬: 분석은 특정 희소 특징들이 인식 가능한 구조적 맥락에서 일관되게 활성화됨을 보여줍니다. 예를 들어, 일부 특징은 poly-G 또는 GC-풍부 시퀀스를 가진 "스템" 영역에서 주로 발화하는 반면, 다른 특징들은 poly-A 또는 poly-U 시퀀스를 가진 "헤어핀" 루프에서 활성화됩니다. 이는 RiNALMo 임베딩이 SAE 가 구조 인식 개념으로 분리해낼 수 있는 방식으로 정보를 조직화함을 시사합니다.
• 레이어별 진화: 레이어 전반에 걸쳐 특징의 희소성과 선택성에서 뚜렷한 진행이 관찰됩니다. 레이어 1 은 확산되고 낮은 희소성을 가진 활성화를 보입니다. 반면, 더 깊은 레이어 (레이어 18 이후) 는 희소성과 유형 선택성이 현저히 증가하여 활성화가 특정 RNA 가족에 고유한 소수의 채널에 집중됩니다.
• 특징 안정성: 이 연구는 적어도 10 개의 서로 다른 시퀀스에서 발화하는 특징들을 식별하여 드물거나 우연한 사건을 필터링합니다. 그러나 저자들은 패턴이 일관되지만, 새로운 생물학적 개념의 결정적 발견을 구성하지는 않는다고 지적합니다.

의의 및 주장
저자들은 SAE-RNA 를 결정적 생물학적 개념 발견을 위한 방법으로 삼기보다는 표현 수준 탐지기로 규정합니다. 그 주요 의의는 다음과 같습니다:

• RNA 언어 모델이 생물학적 정보를 내부적으로 어떻게 조직화하는지 특징 수준에서 특성화하는 프레임워크를 제공합니다.
• 희소 특징 분해가 알려진 인간 수준의 생물학적 주석 (2 차 구조 및 ncRNA 가족) 과 정렬될 수 있음을 보여줍니다.
• RNA 정체성 또는 구조적 맥락과 관련된 특정 희소 구성 요소를 식별함으로써 비용이 많이 드는 재훈련 없이 모델 행동을 조종할 수 있는 잠재적 경로를 제시합니다.

한계 및 겸손함
이 논문은 발견 사항에 대해 명시적으로 보수적인 입장을 유지합니다:

• 검증 제약: 특징의 해석은 기존 주석 (bpRNA-90, RNAcentral) 에 크게 의존합니다. 직교 검증이나 교란 테스트 없이는 의미 있는 생물학적 모티프, 상관된 시퀀스 특징, 또는 표현 노이즈를 구별하기 어렵습니다.
• 방법론적 민감성: 결과는 하이퍼파라미터 선택 (희소성 페널티, 활성화 임계값, 레이어 선택) 과 사용된 특정 집계 방법에 민감합니다.
• 데이터 규모: 훈련은 계산적 제약으로 인해 약 10,000 개의 시퀀스로 제한되었으며, 이는 수백만 개의 시퀀스로 확장하는 것에 비해 드문 RNA 가족 및 모티프의 범위를 제한할 수 있습니다.
• 긴 시퀀스 내 노이즈: 길고 가변적인 길이의 RNA 시퀀스에서 진정한 국소화된 모티프 신호를 활성화 스파이크와 구별하는 것은 여전히 해결되지 않은 과제입니다.

따라서 저자들은 SAE 기반 분석이 RNA LLM 을 해석하는 데 유망함을 보여주지만, 특징 안정성, 길이 정규화, 그리고 엄격한 검증과 관련된 문제들이 해결될 때까지 특징들은 독립적인 생물학적 마커나 발견 도구로 신뢰할 수 없다고 결론지었습니다.