Rotation, rescaling, or replacement? Decomposing organ adaptation in single-cell transformer representations

당신이 초지능형 로봇이 세상을 이해하는 법을 파헤치려는 탐정이라고 상상해 보십시오. 생물학 분야에서 과학자들은 세포 내부의 지침서를 읽는 이 '트랜스포머'라 불리는 로봇들을 만들고 있습니다. 이 지침서들은 유전자라는 언어로 쓰여 있으며, 로봇은 인체의 다양한 부위가 어떻게 작동하는지 이해하기 위해 방대한 세포 데이터 도서관을 학습합니다. 여기서 핵심적인 질문은, 만약 우리가 로봇에게 뇌나 신장 같은 특정 장기에 대해 가르칠 때, 로봇이 단순히 기존의 사실들을 새로운 각도에서 바라보는 것인지, 아니면 자신의 이해 체계를 완전히 새로 쓰는 것인지 하는 점입니다. 이것이 중요한 이유는, 만약 로봇이 관점만 '회전'시키는 것이라면 우리는 뇌에 대해 배운 것을 ไต(신장)를 이해하는 데 쉽게 번역하여 적용할 수 있기 때문입니다. 하지만 만약 로봇이 자신의 세계관 전체를 '교체'한다면, 우리는 장기를 바꿀 때마다 매번 처음부터 다시 시작해야 할 것입니다.

이 논문은 scGPT 프로젝트로 만들어진 세 가지 로봇 두뇌라는 특별한 세트를 사용하여 바로 이 미스터리를 조사합니다. 연구진들에게는 독특한 이점이 있었습니다. 그들은 동일한 설계도와 동일한 무작위 숫자 '시드(seed)'에서 시작된 똑같은 버전의 세 가지 로봇을 가지고 있었습니다. 유일한 차이점은 그들의 학습 도서관이었습니다. 하나는 인체의 모든 부분을 다루는 3,300만 개의 세포를 읽었고, 다른 하나는 1,320만 개의 뇌 세포를, 마지막 하나는 814,000개의 신장 세포를 읽었습니다. 이 세 가지를 비교함으로써, 저자는 데이터가 로봇에게 가르친 것이 무엇인지, 그리고 무엇이 태어날 때 남겨진 무작위 소음인지를 정확히 구분해 낼 수 있었습니다.

거대한 "너는 무엇을 배웠니?" 실험

이 세 AI 모델을 같은 날 같은 자리에 앉아, 똑같은 빈 공책과 가장자리에 적힌 똑같은 무작위 낙서(초기화)를 가진 채 학교에 입학한 세 명의 학생이라고 생각해 보십시오.

• 학생 A는 인체의 모든 부분을 다루는 3,300만 페이지의 거대한 백과사전을 읽었습니다.
• 학생 B는 뇌에 관한 내용만 담긴 1,320만 페이지의 두꺼운 교과서를 읽었습니다.
• 학생 C는 814,000 페이지의 얇은 팸플릿을 읽었지만, 오직 신장에 대해서만 읽었습니다.

연구진은 알고 싶었습니다. 학생 B와 C가 독서를 마쳤을 때, 그들이 단순히 사실들을 다른 각도에서 보기 위해 고개를 기울인 것인지(회전), 아니-면 자신이 관심을 갖는 단어의 크기를 조정한 것인지(재조정/rescaling), 혹은 기존의 사실들을 버리고 완전히 새로운 것들을 써 내려간 것인지(교체) 말입니다.

기계 속의 "유령"

이 거대한 질문에 답하기 전, 연구진은 기묘한 단서를 발견했습니다. 그들은 세 학생의 공책에서 수천 개의 특정 줄들이 비트 단위로 완전히 동일하다는 것을 발견했습니다. 이 줄들은 어떤 학생도 실제로 읽거나 배우지 않은 것들이었습니다. 공책이 무작위 낙서로 시작되었고 이 줄들이 변하지 않았다는 점을 통해, 연구진은 깨달았습니다. "아하! 세 학생 모두 똑같은 무작위 낙서로 시작했구나!"

이것은 게임 체인저였습니다. 이는 연구진이 '소음'이 어떻게 생겼는지 정확히 알 수 있음을 의미했습니다. 그들은 경계선을 그을 수 있었습니다. 그 선 아래에 있는 것은 그저 무작위의 시작 낙서였고, 그 선 위에 있는 것은 실제 학습된 내용이었습니다.

충격적인 결과: 회전이 아니라 재작성이다

무작위 낙서를 걸러내고 나자, 주요 질문에 대한 답은 명확하고 놀라웠습니다.

1. "신장" 학생은 별로 배우지 못했다
신장 팸플릿(814,000개 세포)만 읽은 학생은 공책을 거의 바꾸지 못했습니다. 배울 수 있었던 512개의 가능한 방향 중 단 12개만이 실제로 새로운 것이었습니다. 나머지는 원래의 무작위 낙서였습니다. 마치 한 권의 만화책을 읽고 새로운 언어를 배우려는 것과 같습니다. 아직 언어를 제대로 익히지 못한 것입니다. 연구진은 이 학생의 경우 "학습"이 너무 약해서 대부분 소음에 불과하다는 것을 발견했습니다.

2. "뇌" 학생은 지도를 바꾼 것이 아니라, 각도가 아닌 길을 바꿨다
뇌 교과서(1,320만 개 세포)를 읽은 학생은 더 많은 것, 즉 약 104개의 새로운 방향을 배웠습니다. 하지만 반전이 있었습니다. 그들은 단순히 지도를 회전시키거나 기존의 도로를 더 크게 만든 것이 아니었습니다. 그들은 도로를 교체했습니다.

연구진은 "회전"(지도를 돌리기)이나 "재조정"(지도를 늘리기)을 사용하여 뇌 학생의 지도를 전신 학생의 지도에 맞추려고 시도했습니다. 하지만 잘 작동하지 않았습니다.

• 단순한 회전은 변화의 30% 미만을 설명했습니다.
• 심지어 모든 도로에 대해 "늘리기"를 적용해도 아주 조금밖에 더 설명하지 못했습니다.
• 지도를 일치시키기 위해서는 약 **57%**의 변화만을 설명할 수 있는 복잡하고 무질서한 선형 사상(linear map)을 사용해야만 했습니다.

이는 로봇이 특정 장기에 대해 배울 때, 단순히 생물학적 사실을 다른 각도에서 보는 것이 아님을 의미합니다. 로봇은 기존의 "축"(정보를 조직하는 주요 방식) 대부분을 버리고 새로운 축을 씁니다. 뇌 학생과 신장 학생은 같은 언어의 같은 방언을 쓰는 것이 아니라, 서로 다른 방언을 말하고 있는 것입니다.

3. "중간"이 마법이 일어나는 곳이다
연구진은 또한 로봇의 두뇌 중 어디에서 학습이 일어나는지도 살펴보았습니다. 그들은 학습이 로봇 네트워크의 중간층, 구체적으로 연결에 주목하는 부분(attention)과 정보를 처리하는 부분(feed-forward)에 집중되어 있다는 것을 발견했습니다. 로봇을 안정적으로 유지하는 "정규화(normalization)" 부분은 거의 변하지 않았습니다. 마치 학생이 교과서의 중간 장들은 새로 썼지만, 도입부와 결론은 시작했을 때와 똑같이 남겨둔 것과 같습니다.

4. 크기보다 방향이 중요하다
로봇이 뇌를 학습할 때와 신장을 학습할 때, 변화의 크기는 그것이 어떤 장기인지 알려주지 않았습니다. 많이 변한 유전자가 어디에서 왔을지는 알 수 없었습니다. 하지만 변화의 방향은 결정적인 증거였습니다. 만약 유전자가 특정 방향으로 움직였다면, 그것은 거의 확실히 뇌 유전자였습니다. 만약 반대 방향으로 움직였다면, 그것은 신장 유전자였습니다. 로봇은 정보가 얼마나 많이 변했느냐가 아니라, 어느 방향으로 이동했느냐를 통해 장기를 인식하는 법을 배웠습니다.

미래의 탐험가들을 위한 시사점

이 논문은 이 AI 로봇을 사용하여 생물학을 이해하려는 모든 이들에게 몇 가지 실질적인 규칙을 제시합니다.

• 일반론자에게 집중하라: 생물학을 이해하고 싶다면, 전신(3,300만 개 세포 모델)을 학습한 모델을 사용하십시오. 이 모델이 가장 많은 "학습된" 방향과 명확한 구조를 가지고 있습니다.
• 전이 가능성을 당연하게 여기지 마라: "뇌" 모델에서 발견한 것을 단순히 노브(knob)를 돌리는 것만으로 "신장" 모델에 적용할 수 있다고 가정해서는 안 됩니다. 내부 지도는 너무나 다릅니다. 뇌 모델의 발견을 신장에 사용하려면, 처음부터 다시 배워야 합니다.
• 작은 데이터셋을 주의하라: 모델이 약 1,000만 개 미만의 세포(이 연구의 신장 모델처럼)로 학습되었다면, 실제로 아무것도 배우지 못했을 수도 있습니다. 그것은 그저 자신의 무작위 시작 낙서를 메아리치고 있는 것일 뿐일 수 있습니다. 작은 장기 특화 모델을 믿기 전에, 그것이 소음을 넘어 실제로 무언가를 배웠는지 확인해야 합니다.

요약하자면, 로봇은 새로운 장기를 보기 위해 단순히 고개를 "돌리는" 것이 아니라, 새로운 머리를 키워야 합니다. 그리고 만약 충분히 읽을 시간(데이터)이 없다면, 로봇은 새로운 머리를 키우지 못하고 그저 처음에 가졌던 무작위 낙서를 멍하니 바라보고 있을 뿐일 것입니다.