A leakage-controlled benchmark shows apparent codon-language-model advantages in synonymous-variant prediction are evaluation artifacts

당신이 로봇에게 생명의 비밀 언어를 이해하도록 가르치려 한다고 상상해 보세요. 생물학에서 DNA는 네 가지 글자(A, C, G, T)로 이루어진 코드로 쓰여 있으며, 이 글자들은 '코돈(codon)'이라 불리는 3개 단위의 조합으로 묶입니다. 이 코돈들은 세포에게 어떤 건축 블록(아미노산)을 사용하여 단백질을 만들지 알려줍니다. 여기서 까다로운 점은, 자연이 문법을 매우 경제적으로 사용한다는 것입니다. 64가지의 가능한 코돈 조합이 있지만, 단 20가지의 서로 다른 건축 블록만 있으면 됩니다. 이는 마치 여러 단어가 하나의 대상을 의미하는 것과 같습니다. 예를 들어 "고양이"라는 하나의 대상을 두고 "feline", "kitty", "puss"라는 세 가지 다른 단어를 사용하는 식이죠.

오랫동안 과학자들은 이처럼 같은 것을 의미하는 서로 다른 단어들이 그저 무작위적인 소음(noise)에 불과하다고 생각했습니다. 하지만 최근 '코돈 언어 모델(codon language models)'이라 불리는 새로운 파동의 AI 모델들이 등장하여, 이 단어 선택 속에 숨겨진 비밀스러운 의미를 읽어낼 수 있다고 주장하기 시작했습니다. 이들은 비록 최종 단백질은 동일할지라도, 선택된 특정 단어(코돈)가 메시지의 안정성이나 단백질이 만들어지는 속도를 변화시킨다고 주장했습니다. 이는 우리가 더 나은 의약품과 백신을 설계하는 데 큰 도움이 될 수 있는 중요한 일입니다. 그러나 한 가지 의구심이 남았습니다. 이 AI 모델들이 정말로 비밀 언어를 읽고 있는 것일까요, 아니면 잘못된 단서들을 암기함으로써 **지름길(shortcuts)**에 의존하고 있는 것일까요?

이 논문은 정확히 그 질문을 조사하는 탐정 이야기입니다. 저자인 Yuanqing Liang, Weimin Liang 그리고 그들의 팀은 이 AI 모델들이 코돈 선택을 읽어내는 초능력을 실제로 가지고 있는지, 아니면 그 성공이 단지 결함이 있는 테스트로 인해 만들어진 환상인지 테스트하기 위해 나섰습니다. 그들은 지름길을 제거했을 때 어떤 일이 일어나는지 확인하기 위해 CodonBench라는 더 엄격한 새로운 시험장을 구축했습니다.

거대한 지름길 스캔들

이야기는 혼란스러운 발견으로부터 시작됩니다. 이전 연구들에서 코돈 기반의 AI 모델들은 경쟁 모델들을 압도하는 것처럼 보였습니다. 특정 DNA 변화가 해로운지 예측하라는 질문을 받았을 때, 이 모델들은 최종 단백질만을 살펴보는 모델보다 종종 2.3~14.3 퍼센트 포인트 더 높은 정확도를 보였습니다. 이는 코돈 모델의 거대한 승리처럼 보였습니다.

하지만 저자들은 속임수를 의심했습니다. 당신이 어떤 학생이 수학을 잘하는지 맞혀야 하는 시험을 치르고 있다고 상상해 보세요. 만약 당신이 그 학생의 이름을 볼 수 있다면, 당신은 학생의 답안지를 실제로 보고 맞히는 것이 아니라, 그 학생이 수학 천재라는 것을 이미 알고 있기 때문에 "예"라고 답할 수 있을 것입니다. DNA의 세계에서 그 "이름"은 바로 **유전자(gene)**입니다.

저자들은 기존의 테스트들이 AI에게 학생의 이름을 보여주는 것과 같다는 사실을 깨달았습니다. 데이터를 무작위로 나누었기 때문에, 동일한 유전자(동일한 "학생")가 학습 세트(AI가 배우는 곳)와 테스트 세트(AI가 성적을 받는 곳) 모두에 나타나게 된 것입니다. AI는 코돈 선택의 미묘한 규칙을 배운 것이 아니라, "유전자 X는 보통 나쁜 변이를 가지고 있고, 유전자 Y는 보통 좋은 변이를 가지고 있다"는 것을 단순히 암기한 것이었습니다. 그것은 기술이 아니라 지름길이었습니다.

"유전자 제외(Gene-Held-Out)"의 함정

지름길을 잡아내기 위해, 저자들은 엄격한 규칙인 **유전자 제외 평가(Gene-Held-Out Evaluation)**를 도입했습니다. 이것은 당신이 한 번도 본 적 없는 학생에 대해 시험을 치르는 것과 같습니다. 당신은 이름을 이용해 추측할 수 없으며, 반드시 그 학생의 답안을 직접 읽어야 합니다.

이 엄격한 규칙을 적용하자 마법은 사라졌습니다.

• 코돈 모델의 거대한 우위가 무너졌습니다.
• 코돈 모델과 단백질 모델 사이의 격차가 거대한 2.3~14.3 퍼센트 포인트에서 아주 작은 1.6~2.2 퍼센트 포인트로 줄어들었습니다.
• 어떤 경우에는 코단 모델이 단백질 모델보다 오히려 성능이 더 낮게 나오기도 했습니다!

저자들은 이 "초능력"이 사실 기억력의 기술이었다는 것을 발견했습니다. AI는 코돈의 구체적인 생물학적 원리를 배운 것이 아니라, 유전자의 계열을 인식하는 법을 배운 것이었습니다.

"깊이(Depth)"의 환상

코돈 모델들이 진짜라는 것을 증명하는 듯 보이는 마지막 단서가 하나 더 있었습니다. 연구진은 더 복잡한 뇌(비선형 프로브)를 사용하여 AI가 "더 깊게 생각"하게 만들었을 때, 코돈 모델의 성능이 더 좋아진다는 점을 발견했습니다. 이를 "깊이 시그니처(depth signature)"라고 불렀습니다. 이는 마치 AI가 비밀 신호를 찾기 위해 더 깊이 파고드는 것처럼 보였습니다.

하지만 저자들은 직접 더 깊이 파고들었습니다. 그들은 이 "깊이 시그니처" 또한 속임수라는 것을 깨달았습니다. 테스트를 구축하는 데 사용된 특정 소프트웨어 도구들(예를 들어 특정 난수 생성기를 사용하거나 데이터를 구성하는 방식)이 우연히 AI를 돕고 있었던 것입니다. 이러한 소프트웨어의 특이점들을 제거하고 깨끗하고 표준적인 설정을 사용하자, "깊이 시그니처"는 사라졌습니다. AI가 얻은 추가 점수는 생물학을 이해해서 얻은 것이 아니라, 테스트 자체가 약간의 편향을 가지고 있었기 때문이었습니다.

"최적 에포크(Best-Epoch)" 지름길

조사는 거기서 멈추지 않았습니다. 저자들은 특히 AI에게 단순히 "좋다" 또는 "나쁘다"를 판단하는 것이 아니라, 숫자(예: 유전자가 얼마나 많은 단백질을 만드는지)를 예측하도록 요청했을 때 발생하는 두 번째의 교묘한 속임수를 발견했습니다.

이 숫자 예측 작업에서, 기존의 테스트들은 AI가 학습하는 동안에도 최종 정답을 엿볼 수 있게 허용했습니다. 학생이 연습 시험을 치르고 있는데, 문제를 틀릴 때마다 선생님이 다음 문제로 넘어가기 전에 정답을 속삭여 주는 상황을 상상해 보세요. 그러면 그 학생은 그 연습 시험에서 가장 높은 점수를 받은 버전의 자신의 뇌를 선택하여 자신이 천재라고 주장할 것입니다.

저자들은 이를 **"최적 에포크 선택 편향(Best-Epoch Selection Bias)"**이라고 불렀습니다. AI는 자신 중 어떤 버전이 "최고"인지 결정하기 위해 테스트 세트를 엿볼 수 있었습니다. 그들이 실제 테스트 세트 대신 숨겨진 연습 세트(검증 세트)를 기준으로 AI가 최적의 버전을 선택하도록 강제함으로써 이 지름길을 차단하자, 거대한 이득은 사라졌습니다. 실제로 일부 작업에서는 AI의 성능이 크게 떨어졌는데, 이는 이전의 "성공"이 단지 AI가 테스트 답안을 암기한 결과였음을 입증합니다.

최종 판결: 마법은 없고 소음뿐이다

저자들은 진실이 남아 있는지 확인하기 위해 마지막 트릭을 시도했습니다. 그들은 단백질은 그대로 유지하면서 사용하는 "단어"만 바꾸는 방식으로 코돈을 무작위로 뒤섞었습니다. 만약 AI가 정말로 비밀 언어를 읽고 있다면, 단어를 뒤섞었을 때 점수가 떨어져야 합니다.

처음에는 점수가 떨어진 것처럼 보였습니다. 하지만 저자들이 돋보기를 들고 데이터를 자세히 관찰했을 때(풀링 통계 사용), 그 하락은 그저 무작위적인 소음이라는 것을 깨달았습니다. 그 차이는 너무나 작아서(0.3 퍼센트 포인트) 통계적으로 의미가 없었습니다. 그것은 동전을 던져서 세 번 연속 앞면이 나왔다고 해서 어떤 패턴을 발견했다고 생각하는 것과 같았습니다.

이것이 의미하는 바는 무엇일까요?

이 논문은 DNA의 해로운 변화를 예측하는 데 있어 코돈 언어 모델의 겉보기된 이점이 인위적인 결과(artifact), 즉 테스트 설정 과정에서 만들어진 신기루라고 결론짓습니다.

• 주장: 코돈 모델은 DNA의 비밀 언어를 더 잘 읽는다.
• 현실: 엄격하고 정보 누출이 없는 테스트 환경에서는 그렇지 않다. 그들이 읽고 있다고 주장했던 신호는 너무 희미해서(약 0.04 비트), 현재의 AI 모델과 데이터 크기로는 노이즈 위에서 신뢰할 수 있게 찾아낼 수 없다.

저자들은 비밀 언어가 존재하지 않는다고 말하는 것이 아닙니다. 단지 우리의 현재 도구들이 그것을 듣기에는 너무 노이즈가 심하다고 말하는 것입니다. 그들은 미래의 과학자들이 유령을 쫓는 대신 실제 신호를 찾을 수 있도록, 이러한 지름길 방법들(유전자 암기나 테스트 답안 엿보기 등)을 방지하는 공정한 테스트 환경인 CodonBench를 구축했습니다.

요약하자면, AI 모델은 우리가 생각했던 것만큼 똑똑하지 않았습니다. 단지 테스트가 너무 쉬웠을 뿐입니다. 이제 테스트가 더 어려워졌으므로, 모델들은 단순히 이름이나 답을 암기하는 것이 아니라 실제로 코드를 읽을 수 있다는 것을 증명해야 합니다.