🧬 biology

Information Entropy of Biological Data: An Empirical Analysis

본 논문은 여섯 가지 생물학적 데이터 양상에 걸친 통합적인 경험적 분석을 통해 유한 표본 편향이 정보 이론적 추정치를 심각하게 왜곡함을 입증하며, 편향 수정 방법이 뚜렷한 생물학적 신호를 드러내고 엔트로피의 체계적 과소 추정과 정보량의 과대 추정을 바로잡는다는 점을 고려할 때, 추정자와 표본 크기를 명시하지 않고 엔트로피와 상호 정보를 보고하는 것은 방어 불가능하다고 주장한다.

원저자: Alexander Memming

게시일 2026-07-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alexander Memming

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

생물학을 단순히 세포와 화학 물질의 집합체가 아니라, 방대한 정보가 담긴 시끄러운 도서관이라고 상상해 보십시오. 아주 작은 박테리아부터 인간에 이르기까지 모든 생명체는 끊임없이 메시지를 읽고, 쓰고, 전송합니다. 이러한 메시지에 얼마나 많은 '놀라움'이나 '다양성'이 존재하는지 이해하기 위해, 과학자들은 **엔트로피(entropy)**라는 수학적 도구를 사용합니다. 엔트로피를 메시지가 얼마나 예측 불가능한지를 측정하는 척도라고 생각하십시오. 만약 DNA 가닥이 똑같은 글자가 계속 반복되는 긴 문자열이라면, 그것은 엔트로피가 낮습니다(지루하고 예측 가능합니다). 만약 그것이 다양한 글자들이 혼합된 혼란스러운 상태라면, 엔트로피가 높습니다(놀라움으로 가득 차 있습니다).

엔트로피와 밀접하게 연관된 개념은 두 대상이 서로에 대해 얼마나 많은 것을 알려주는지를 측정하는 **상호 정보량(mutual information)**입니다. 만약 당신이 바깥 날씨를 안다면, 그것이 무엇을 입어야 할지 알려줍니까? 그렇습니다. 그것이 상호 정보량입니다. 만약 특정 유전자 서열을 안다면, 그것이 어떤 단백질을 만드는지 알려줍니까? 또한 그렇습니다. 과학자들이 이 도구들을 사랑하는 이유는 이것들이 생명의 규칙을 해독하는 데 도움을 주기 때문입니다. 하지만 여기에는 함정이 있습니다. 완벽하고 무한한 양의 데이터가 없을 때 이 도구들을 사용하는 것은 매우 까다롭다는 점입니다. 현실 세계에서 우리는 제한된 수의 샘플만을 가지고 있습니다. 이는 마치 거대한 아이스크림 가게의 맛을 단 몇 스쿱의 시식만으로 추측하려는 것과 같습니다. 주의를 기울이지 않는다면, 당신의 추측이 크게 틀릴 수도 있습니다. 그것은 아이스크림이 이상해서가 아니라, 당신의 샘플이 너무 적었기 때문일 수 있습니다.

이것이 알렉산더 메밍(Alexander Memming)이 새로운 연구에서 다루는 퍼즐입니다. 이 논문은 간단하지만 매우 중요한 질문을 던집니다. 과학자들이 생물학적 데이터에서 '정보'를 측정할 때, 그들이 발견한 것 중 얼마만큼이 실제 생물학적 현상이고, 얼마만큼이 샘한 데이터로 인해 발생하는 수학적 착시인가?

저자는 이를 테스트하기 위해 여섯 가지 다른 유형의 생물학적 데이터(DNA 서열, 단백질 구조, 유전자 활성, 그리고 우리 장 속에 사는 박테리아 군집 등)를 살펴보았습니다. 그는 단순히 데이터를 관찰한 것이 아니라, 동일한 데이터셋에 대해 여섯 가지 서로 다른 수학적 '추정량(estimator, 엔트로피를 계산하는 방법)'을 사용하여 대규모 실험을 수행했습니다. 어떤 방법이 진실을 말하고 있는지 확인하기 위해, 그는 정답을 이미 알고 있는 가상의 컴퓨터 생성 데이터를 사용하여 먼저 테스트를 진행했습니다.

결과는 놀라웠습니다. 연구에 따르면 가장 흔히 쓰이는 '나이브한(naive)' 계산 방식(이를 '플러그인(plug-in)' 추정법이라 부릅니다)은 종종 거짓말을 합니다. 과학자들이 작은 데이터셋에 이 단순한 방법을 사용할 때, 이 방법은 DNA와 단백질에 존재하는 엔트로피(다양성)를 체계적으로 과소평가하여, 실제보다 더 예측 가능한 것처럼 보이게 만듭니다. 반대로, 상호 정보량은 과대평가하여, 서로 관련이 없는 유전자나 단백질이 마치 서로 소통하고 있는 것처럼 보이게 만듭니다.

예를 들어, DNA의 세계에서 이 연구는 유전 암호가 약 1.9 비트(최대 가능치인 2 비트 대비)의 엔트로피율을 가지며 실제로 매우 복잡하다는 것을 확인했습니다. 그러나 나이브한 방법은 이를 약간 덜 복잡한 것처럼 보이게 했습니다. 단백질의 세계에서 오류는 엄청났습니다. 단순한 방법은 아미노산의 다양성을 약 12% 정도 과소평가했습니다. 유전자 네트워크의 경우, 나이브한 방법은 너무 편향되어 있어서 유전자들이 실제로 독립적임에도 불구하고 마치 상호작용하는 것처럼 보이는 '유령 연결(ghost connections)'을 만들어냈습니다. 연구는 더 나은 편향 수정 방법들을 사용함으로써 과학자들이 실제 신호를 회복할 수 있음을 보여주었습니다. 예를 들어, 단백질 접힘을 예측할 때, 수정된 방법들을 사용하면 접촉 예측의 정확도가 가장 좋은 방법의 경우 25%에서 67%로 크게 향상되었습니다.

또한 논문은 단일 세포를 조사하였으며, 세포가 전문화됨에 따라(줄기세포에서 특정 조직 유형으로 분화함에 따라) 내부의 '노이즈' 또는 엔트로피가 감소한다는 것을 발견했습니다. 이는 전문화된 세포가 더 예측 가능하다는 것을 확인해 줍니다. 나아가, 연구진은 가장 발전된 AI 모델조차 제거할 수 없는 약 2.3 비트의 유전자당 엔트로피라는 '바닥(floor)'을 발견했습니다. 이는 유전자 발현 방식에 있어 근본적이고 줄일 수 없는 무작위성이 존재함을 시사합니다.

궁극적으로 이 연구는 해당 분야에 대한 현실적인 점검 역할을 합니다. 편향은 무작위적인 것이 아니라, 데이터의 양과 존재하는 가능성의 수 사이의 관계에 따라 예측 가능한 패턴을 따릅다는 것을 증명합니다. 저자는 어떤 방법이 사용되었고 데이터가 얼마나 가용했는지를 밝히지 않고 엔트로피 수치를 보고하는 것은 더 이상 용납될 수 없다고 주장합니다. 기상 예보를 믿기 위해 어떤 도구가 사용되었는지 알아야 하는 것처럼, 우리는 샘플의 한계에 대해 수학적으로 어떻게 교정되었는지 알지 못한다면 생물학적 결론에 대한 정보의 신뢰성을 믿어서는 안 됩니다. 이 연구는 새로운 생물학을 발명하는 것이 아니라, 우리가 발견하는 생물학이 단지 작은 샘플 크기로 인해 만들어진 신기루가 아니라 실제임을 보장하기 위한 필요한 교정(calibration)을 제공합니다.

기술 요약: 생물학적 데이터의 정보 엔트로피: 경험적 분석

문제 제기
정보 이론적 양들—특히 섀넌 엔트로피(Shannon entropy), 상호 정보량(mutual information, MI), 그리고 상대 엔트로피(relative entropy)—은 게놈 서열 분석에서 단일 세포 전사체 분석에 이르기까지 생물학적 데이터 분석의 기초가 된다. 그러나 이러한 양들은 유한한 샘플로부터 추정하기가 매우 까다롭다. 빈도수를 엔트로피 공식에 대입하는 표준 "플러그인(plug-in)" 추정치는 체계적인 편향을 보인다. 즉, 샘플 크기( $N$ )가 알파벳 크기( $m$ )에 비해 작은 경우, 엔트로피는 과소평가하고 상호 정보량은 과대평가한다. 이러한 편향은 네트워크에서 가짜 에지를 생성하거나 가공된 보존 신호를 만들어낼 정도로 심각함에도 불구하고, 응용 생물학 문헌에서는 사용된 추정치나 샘플 크기, 혹은 발생하는 편향의 크기를 명시하지 않은 채 엔트로피 값을 보고하는 경우가 빈번하다. 본 논문은 측정된 정보 이론적 수치 중 얼마만큼이 생물학적 신호이고 얼마만큼이 샘플링 아티팩트(sampling artifact)인지에 대한 경험적 교정의 부재 문제를 다룬다.

방법론
저자들은 다음의 6가지 서로 다른 생물학적 데이터 모달리티에 대해 통합적인 경험적 연구를 수행하였다:

게놈 DNA (4종의 참조 게놈)
단백질 다중 서열 정렬 (MSA) (150개 Pfam 패밀리)
전사 인자(TF) 결합 부위 (62개 모티프)
벌크 유전자 발현 및 유전자 조절 네트워크 (GRN) (E. coli, DREAM5)
단일 세포 전사체 (CELLxGENE 센서스)
마이크로바이옴 커뮤니티 (Human Microbiome Project)

각 모달리티에 대해 연구는 다음과 같은 6가지 공통 추정 도구 세트를 적용하였다:

플러그인 (PI): 나이브한 경험적 빈도 베이스라인.
밀러-마도 (Miller–Madow): 해석적 1차 편향 교정.
차오-셴 (Chao–Shen): 관찰되지 않은 심볼을 고려한 커버리지 조정 (유계가 없는 알파벳 대상).
제임스-스타인 수축 (James–Stein Shrinkage): 작은 $N$ , 큰 $m$ 환경에서 균등 분포를 향한 정규화.
NSB (Nemenman et al.): 평탄한 엔트로피 사전 확률을 사용한 베이지안 추정.
KSG ( $k$ -최근접 이웃): 연속 변수에 대해, 빈닝(binning) 없이 이웃 거리를 통해 직접 MI를 추정.

연구 방법론은 두 단계로 구성된다:

합성 데이터 검증: 합성 데이터(알려진 ground-truth 엔트로피 및 Gaussian 쌍을 가진 Zipf 분포)를 사용하여 샘플 크기에 따른 편향을 정량화함으로써 추정치들을 테스트하였다.
경험적 적용: 교정된 편향 수정 추정치들을 실제 생물학적 데이터에 적용하여, 생물학적 신호와 유한 샘플 아티팩트를 분리하기 위한 교차 도메인 "엔트로피 아틀라스"를 생성하였다.

주요 결과

합성 검증: 합성 컨트롤에서 플러그인 추정치는 심각하게 편향된 것으로 나타났다. 64개의 심볼을 가진 알파벳에 대해 $N=64$ 샘플을 사용했을 때, 플러그인 추정치는 엔트로피를 0.66 비트 과소평가했으며, 독립 변수 사이에서 0.56 비트의 가짜 상호 정보량을 보고했다. 편향 교정 추정치들(Chao–Shen, James–Stein, KSG)은 ground truth를 수백 분의 1 비트 오차 내로 회복했다.
게놈 DNA: 4개 게놈에 대한 편향 교정 엔트로피율은 1.87에서 1.91 bits/base 사이로 나타났으며, 이는 국소 통계가 최대치에 가깝지만 최대는 아님을 확인시켜 준다. 이 결과는 압축 가능성 데이터와 일치한다: 국소 엔트로피는 높지만, 반복 서열을 고려한 압축을 적용하면 단거리 블록 엔트로피에서는 보이지 않는 상당한 장거리 중복성(인간 염색체에서 최대 0.25 bits/base 차이)이 드러난다.
단백질 공진화: 접촉 예측(contact prediction)에서, 추정 방법이 정교해짐에 따라 정밀도가 단조롭게 개선됨을 확인하였다. 원시 MI(raw MI)는 precision@ $L$ 0了.25를 달였으나, 평균 곱 교정(APC)은 이를 0.42로, 평균장 직접 결합 분석(mfDCA)은 0.55로, 의사 우도 DCA(plmDCA)는 0.67로 높였다. 연구는 샘플링이 부족한 얕은 정렬(shallow alignments)에서는 모든 방법이 원시-MI 베이스라인으로 퇴보한다는 점을 언급했다.
유전자 조절 네트워크: 플러그인 추정치를 수축(shrinkage), B-스플라인(B-spline), 또는 KSG와 같은 편향 교정 대안으로 교체하는 것은 네트워크 추론 성능(AUPR 및 AUROC)을 개선하였으며, 그 개선 폭은 서로 다른 네트워크 추론 알고리즘(예: Relevance networks 대 CLR) 간의 전환과 맞먹는 수준이었다.
전사 인자 모티프: 본 연구는 62개 모티프에 대해 Schneider의 정보 보존 법칙( $R_{sequence} \approx R_{frequency}$ )이 상관계수 $r=0.98$ 로 성립함을 검증하였다. 또한, 관찰된 1보다 큰 기울기는 낮은 빈도의 컬럼에서 정보 함량을 부풀리는 플러그인 편향의 아티팩트임을 지적했다.
단일 세포 전사체: 신호 전달 엔트로피(signaling entropy)는 분화 잠재력과 함께 단조 감소함을 발견했다 (Spearman $\rho = -0.87$ ). 또한, 파운데이션 모델의 손실 곡선 분석을 통해 약 2.3 bits의 불가역적인 유전자당 조건부 엔트로피 하한선을 발견했으며, 이는 유전자 발현의 고유한 확률성을 나타내는 것으로 해석된다.
마이크로바이옴 다양성: 힐 수(Hill numbers)와 커버리지 기반 교정을 사용하여, 나이브한 풍부도(richness) 추정치가 특히 희귀 분류군에 대해 실제 다양성을 현저히 과소평가함을 입증하였으며, 이는 서열 수준의 엔트로피에서 나타나는 커버리지 문제와 유사하다.

교차 도메인 종합 (엔트로피 아틀라스)
본 연구는 다음과 같은 예측 가능한 편향 패턴을 보여주는 "교차 도메인 엔트로피 아틀라스"를 구축하였다:

부호(Sign): 엔트로피는 플러그인 추정치에 의해 체계적으로 과소평가되는 반면, 상호 정보량과 정보 함량은 체계적으로 과대평가된다.
크기(Magnitude): 편향의 크기는 샘플링 레짐( $N$ 대 $m$ )의 함수이다. 잘 샘플링된 레짐(게놈 DNA)에서는 편향이 미미하다(<1%). 언더샘플링된 레짐(단백질 컬럼, 마이크로바이옴 OTU, 벌크 발현 MI)에서는 편향이 상당하며(10–80%), 때로는 생물학적 신호 전체를 초과하기도 한다.

의의 및 주장
본 논문은 추정치와 샘플 크기를 명시하지 않고 엔트로피나 상호 정보량을 보고하는 것은 더 이상 방어 불가능하다고 주장한다. 저자들의 주장은 다음과 같다:

유한 샘플 편향은 무작위가 아니라, 측정되는 양과 샘플링 레짐에 따라 부호와 크기 모두에서 예측 가능하다.
편향 교정은 단순한 기술적 정교화가 아니라, 언더샘플링된 레짐에서 정확한 생물학적 추론을 위한 필수 전제 조건이며, 종종 근본적인 생물학적 모델을 변경하는 것과 맞먹는 개선 효과를 제공한다.
생물학적 데이터로 학습된 현대의 자기 지도 학습 기반 "파운데이션" 모델들은 동일한 세기의 오래된 샘플링 제약을 받는 거대한 조건부 엔트로피 추정기로 해석될 수 있으며, 이들의 손실 하한선은 불가역적인 생물학적 확률성의 경험적 측정치이다.
본 연구는 측정된 정보 이론적 수치가 얼마나 생물학적 신호이고 얼마나 샘플링 아티팩트인지를 구분할 수 있는 정량적 프레임워크를 제공하며, 학계가 편향 교정 추정법을 표준 관행으로 채택할 것을 촉구한다.

유사한 논문