🔬 condensed matter

Foundations of entropy in complex systems

이 장은 엔트로피의 기초와 복잡계로의 확장을 포괄적으로 검토하며, 일반화된 엔트로피, 통계 역학, 공리적 체계, 그리고 동적 과정을 다룸으로써 적절한 엔트로피의 선택은 시스템의 특정 구조와 물리적 성질에 달려 있음을 입증한다.

원저자: Jan Korbel

게시일 2026-06-16

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Jan Korbel

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 엔트로피란 무엇인가?

당신이 지저분한 방을 묘사하려고 노력하고 있다고 상상해 보세요.

미시상태(Microstate): 모든 양말, 책, 과자 부스러기의 정확한 위치를 하나하나 나열합니다. 방이 보일 수 있는 방법은 수십억 가지가 있습니다.
거시상태(Macrostate): 그냥 "지저분하다" 또는 "깨끗하다"라고 말합니다. 세부 사항은 무시합니다.

엔트로피는 당신의 단 하나의 설명(거시상태) 안에 얼마나 많은 서로 다른 "지저운" 배치(미시상태)가 들어있는지를 측정하는 척도입니다. 만약 방이 지저분해질 수 있는 방법이 10억 가지라면, 그 방은 높은 엔트로피를 가집니다. 만약 오직 한 가지 방식으로만 지저분해질 수 있다면, 낮은 엔트로피를 가집니다.

오랫동안 과학자들은 이 "지저분함"을 계산하는 방법이 단 하나(섀넌-볼츠만-깁스 엔트로피라고 불리는 방식)뿐이라고 생각했습니다. 이 논문은 복잡계(새 떼, 사회적 네트워크, 또는 경제 체제와 같은)의 경우, 기존의 공식만으로는 충분하지 않다고 주장합니다. 우리는 시스템이 실제로 어떻게 작동하느냐에 따라 "지저분함"을 측정하는 새로운 방법들이 필요합니다.

1. 옛날 방식: 주사위 게임 (표준 엔트로피)

논문은 고전적인 예시인 주사위 던지기로 시작합니다.

주사위 5개를 던진다면, 합계가 19가 되는 방법은 매우 많습니다.
"지저분함"(엔트로피)은 주사위 조합들이 어떻게 그 숫자에 도달하는지를 세는 방식으로 계산됩니다.
규칙: 만약 주사위들이 독립적이라면(한 번의 굴림이 다음 굴림에 영향을 주지 않는다면), 수학은 간단합니다. 이는 표준적인 "종 모양 곡선(벨 커브)" 분포로 이어집니다. 이 방식은 입자들이 서로를 신경 쓰지 않는 상자 안의 기체 모델에는 아주 잘 들어맞습니다.

2. 새로운 방식: 상황이 복잡해질 때

이 논문은 실제 세상의 복잡계가 주사위 게임의 규칙을 깨뜨린다는 점을 설명합니다. 저자가 비유를 통해 설명하는 다양한 "엔트로피의 종류"는 다음과 같습니다.

A. "구별 불가능한" 입자 (양자 통계)

손님들이 너무 똑같아서 서로 자리를 바꿔도 아무도 눈치채지 못하는 파티를 상상해 보세요.

보스-아인슈타인(Bose-Einstein): 손님들이 같은 장소에 모여드는 것을 좋아합니다. 누가 누구인지 알 수 없기 때문에 수학적 계산이 달라집니다.
페르미-디라크(Fermi-Dirac): 손님들이 붐비는 것을 싫어하며, 특정 장소에는 한 명만 들어갈 수 있습니다.
교훈: 입자들이 구별 가능한지 아닌지에 따라 "세는 규칙"이 변하며, 이는 서로 다른 엔트로피 공식을 만들어냅니다.

B. "레고 타워" 효과 (구조 형성 시스템)

작은 입자들이 서로 결합하여 큰 분자를 형성할 수 있는 시스템을 상상해 보세요.

일반적인 기체에서 입자들은 그저 떠다닙니다.
하지만 이 시스템에서는 입자가 혼자 있을 수도 있고, 쌍이 되거나, 삼중체가 될 수도 있습니다.
반전: 단순히 입자가 어디에 있는지를 세는 것뿐만 아니라, 그들이 어떻게 그룹을 이루고 있는지까지 세어야 하기 때문에 시스템을 배열하는 방법의 수가 엄청나게 빠르게 증가합니다. 이는 거대한 구조를 선호하는 새로운 유형의 엔트로피를 만들어냅니다.

C. "내리막길 슬라이드" (표본 공간의 축소)

산 정상에서 시작하여 더 낮은 숫자로만 미끄러져 내려갈 수 있는 게임을 상상해 보세요. 일단 바닥에 닿으면 다시 정상에서 시작합니다.

규칙: 위로 올라갈 수 없습니다. 움직임에 따라 선택지가 줄어듭니다.
결과: 이러한 경로 의존성은 특정한 결과 패턴(언어에서 왜 어떤 단어가 다른 단어보다 훨씬 더 많이 사용되는지를 설명하는 '지프의 법칙' 같은 것)을 만듭니다. 여기서 엔트로피 공식은 시스템이 탐색할 수 있는 "가용 공간"이 시간이 지남에 따라 줄어들기 때문에 다르게 보입니다.

D. "부익부 빈익빈" (폴리 주머니 - Pólya Urns)

색깔이 있는 공들이 들어있는 주머니를 상상해 보세요. 빨간 공을 하나 꺼낼 때마다, 그 공을 다시 넣으면서 추가로 빨간 공 두 개를 더 넣습니다.

효과: 초기에 운 좋게 빨간 공을 뽑으면, 주머니는 점점 빨간색 위주가 됩니다. 나중에 파란 공을 뽑기는 매우 어려워집니다.
교훈: 시스템의 역사가 중요합니다. 여기서의 엔트로피는 시스템이 과거를 "기억"하고 이를 강화하기 때문에 다릅니다. 이는 "승자 독식" 시나리오로 이어집니다.

3. "규칙집" 접근법 (공리)

특정 시스템을 들여다보는 대신, 논문은 "좋은 엔트로피 공식이 따라야 할 규칙은 무엇인가?"라고 묻습니다.

섀넌-킨친 공리(Shannon-Khinchin Axioms): 기존의 규칙집은 엔트로피가 연속적이어야 하고, 모든 것이 평등할 때 최대치가 되어야 하며, 독립적인 시스템들에 대해 깔끔하게 더해져야 한다고 말합니다. 이 규칙은 우리에게 표준 공식을 사용하도록 강요합니다.
반전: 만약 우리가 "깔끔하게 더해지는 규칙"을 완화한다면(복잡계는 깔끔하게 더해지지 않기 때문입니다), **탈리스(Tsallis)**나 레니(Rényi) 엔트로피와 같은 새로운 공식들을 얻을 수 있습니다. 이것들은 서로 강력하게 연결되어 있거나 긴 기억력을 가진 시스템을 위한 "맞춤형 규칙집"과 같습니다.

4. "스케일링(Scaling)" 접근법

시스템이 성장한다고 상상해 보세요.

일반적인 성장: 기체의 크기를 두 배로 키우면, 가능한 배열의 수는 기하급수적으로 두 배가 됩니다.
복잡한 성장: 어떤 시스템은 더 느리게 성장하거나(노화하는 랜덤 워크처럼), 혹은 더 빠르게 성장합니다(새로운 구조를 계속 구축하는 시스템처럼).
교훈: 논문은 모든 유형의 성장에 대해, 수학적으로 깔끔하게 맞아떨어지는 특정 "엔트로피 공식"이 존재함을 보여줍니다. 만약 성장률에 맞지 않는 잘못된 공식을 사용하면 수학적 계산은 무너집니다.

5. 거대한 환상: 다른 경로, 같은 목적지

이 논문에서 가장 매혹적인 부분 중 하나는 **이중성(duality)**이라는 개념입니다.

데이터에서 특정 패턴(특정 결과의 분포)을 발견했다고 가정해 봅시다.
당신은 "이것은 반드시 시스템 A에 의해 발생했을 것이다"라고 생각할 수 있습니다.
하지만 논문은 시스템 B(다른 엔트로피 공식을 가진 시스템)나 시스템 C(다른 제약 조건을 가진 시스템)도 정확히 같은 패턴을 만들어낼 수 있다는 것을 보여줍니다.
비유: 그것은 나무의 그림자를 보는 것과 같습니다. 그림자만 보고는 그것이 실제 나무인지, 판지로 만든 입체물인지, 아니면 3D 모델인지 알 수 없습니다. 어떤 "엔트로피"가 적절한지 알기 위해서는 반드시 그 근원(물리학, 역학, 또는 제약 조건)을 알아야 합니다.

요약: 우리가 얻어야 할 교훈은 무엇인가?

논문은 과학자들에게 매우 중요한 경고를 하며 결론을 맺습니다.

단순히 데이터의 형태(모양)만 보지 마십시오.
만약 당신이 "파워 로(power law, 멱법칙)" 형태의 곡선을 보더라도, 그것이 곧바로 탈리스 엔트로피 때문이라고 즉시 단정 짓지 마십시오.

그것은 탈리스 엔트로피일 수도 있습니다.
혹은 이상한 제약 조건이 있는 표준 엔트로피일 수도 있습니다.
혹은 역사가 의존적인 역학 관계(폴리 주머니와 같은)를 가진 시스템일 수도 있습니다.

황금률: 엔로피 공식의 선택은 단순히 그래프에 곡선을 맞추는 것이 아니라, 시스템이 실제로 어떻게 작동하는가(그 미시적 규칙, 역사, 또는 구조)에 의해 안내되어야 합니다. "올바른" 엔트로피란 시스템의 근저에 깔린 이야기와 일치하는 것입니다.

기술 요약: 복잡계에서의 엔트로피 기초

문제 제기
볼츠만 공식( $S = k_B \ln W$ )과 섀넌-볼츠만-깁스(SBG) 프레임워크에 뿌리를 둔 고전적 엔트로피 개념은 약한 상호작용, 독립성, 그리고 미시상태의 다항 계수(multinomial multiplicity) 가설에 의존한다. 이러한 가정들은 동일한 입자들로 구성된 평형계에는 성공적으로 적용되지만, 강한 상관관계, 장거리 상호작용, 이력 의존성(history dependence), 그리고 창발적 구조를 특징으로 하는 복잡계에서는 종종 실패한다. 본 연구가 다루는 핵심 문제는 고전적 엔트로피 개념이 이러한 이질적인 시스템을 기술하기 위해 어떤 조건 하에서 확장될 수 있는지, 그리고 엔트로피 범함수의 선택이 시스템의 근본적인 미시적 구조, 역학, 그리고 제약 조건과 어떻게 연관되는지이다.

방법론
본 논문은 미시적 유도에서부터 공리적 정식화, 그리고 쌍대성(duality) 분석에 이르기까지, 엔트로피의 기초를 조사하기 위해 다각적인 접근 방식을 채택한다:

다중도(Multiplicity)를 통한 미시적 유도: 분석은 볼츠만 공식 $S = \ln W$ 로부터 엔트로피를 유도하는 것으로 시작하며, 여기서 $W$ 는 접근 가능한 미시상태의 다중도이다. 본 논문은 서로 다른 계수 규칙(조합적 구조)이 어떻게 서로 다른 엔트로피 범함수로 이어지는지 검토한다. 여기에는 다음이 포함된다:
- 표준 다항 계수(multinomial counting) (SBG 엔트로피로 이어짐).
- 구별 불가능성 및 점유 제약에 기반한 양자 통계(맥스웰-볼츠만, 보스-아인슈타인, 페르미-디락).
- 구성 요소들이 분자로 결합하여 조합적 가중치를 변화시키는 구조 형성 시스템(structure-forming systems).
- 표본 공간이 동적으로 수축하는 SSR(sample-space reducing) 과정.
- 궤적 확률을 수정하는 폴리아 저그(Pólya urns) 모델.
- 표준 계승(factorial)과 로그를 대체하는 $q$ -변형 대수적 구성(Tsallis 엔트로피).
공리적 접근법: 특정 미시적 모델보다는 요구되는 성질에 따라 엔트로피를 정의하는 프레임워크를 검토한다:
- 섀넌-킨친(Shannon–Khinchin) 공리: 연속성, 극대성, 확장성, 그리고 가산성/합성 규칙에 초점을 맞춘다.
- 템페스타 그룹(Tempesta Group) 합성성: 독립적인 시스템을 결합하기 위한 형식적 군 법칙(formal group law)으로서의 엔트로피를 분석한다.
- 하넬-턴러(Hanel–Thurner) 점근적 스케일링: 열역학적 극한에서 위상 공간 부피( $W_{tot}(n)$ )의 성장률에 기초하여 엔트로피를 분류한다.
- 쇼어-존슨(Shore–Johnson) 공리: 제약 조건 하에서의 통계적 추론(MaxEnt)의 일관성에 초점을 맞춘다.
- 리프-잉그바손(Lieb–Yngvason) 공리: 미시적 가정 없이 단열 접근성(adiabatic accessibility)의 현상학적 순서를 통해 엔트로피를 유도한다.
쌍대성 및 불변성 분석: 서로 다른 엔트로피 범함수, 제약 조건, 또는 역학적 규칙이 어떻게 동일한 정지 확률 분포를 생성할 수 있는지 조사한다. 이를 위해 교정 불변성(calibration invariance), 선형 대 에스콧 평균(linear vs. escort average) 쌍대성, 그리고 비선형 역학과 엔트로피 선택 사이의 관계를 분석한다.

주요 기여 및 결과

다중도가 엔트로피를 결정한다: 본 논문은 시스템의 조합적 구조가 다항 계수의 경우에서 벗어날 때 비-섀넌적(non-Shannonian) 엔트로피가 자연스럽게 발생함을 입증한다.
- 구조 형성 시스템: 입자들이 클러스터를 형성할 때, 다중도는 그룹화를 위한 인자를 포함하게 되며, 이는 구별 가능한 입자들에 대해서도 SBG와 다른 엔트로피 형태를 초래한다.
- SSR 과정: 표본 공간이 수축하는 경로 의존적 역학(예: 완화 캐스케이드)은 멱법칙(Zipf의 법칙)과 궤적 계수로부터 유도된 특정한 엔로피 형태를 생성하며, 이는 정적인 다중도와는 구별된다.
- 폴리아 저그: 강화 메커니즘은 궤적의 확률을 수정한다. 다중도는 다항 계수를 유지하지만, 궤적 확률은 "음의 버그(negative Burg) 엔트로피" 성분을 도입하여 비에르고딕(non-ergodic) 거동과 승자 독식 체제를 유도한다.
- Tsallis 엔트로피: $q$ -변형 계승과 로그를 사용하여 조합적 유도를 제공함으로써, 표준 유도와 형식적 유사성을 확립하며 변형된 대수적 틀 내에서의 유도를 보여준다.
공리적 분류:
- 하넬-턴러 프레임워크는 위상 공간 부피의 점근적 스케일링에 의해 엔트로피를 분류한다. 아징 랜덤 워크(aging random walks)와 같이 하위 지수적 성장(sub-exponential growth)을 보이는 시스템은 외연성(extensivity)을 유지하기 위해 다른 엔트로피(예: $0<q<1$ 인 Tsallis 엔트로피)를 필요로 하는 반면, 구조 형성과 같은 초지수적 성장(super-exponential growth)은 특정 스케일링 지수를 가진 엔트로피를 필요로 한다.
- 쇼어-존슨 분석은 추론의 일관성이 섀넌 엔트로피를 유일하게 선택하지는 않는다는 점을 명확히 한다. 시스템 독립성을 적절히 해석한다면(상관관계를 허용하는 경우), Uffink 클래스라는 광범위한 엔트로피 군이 이 공리들을 만족한다.
- 리프-잉그바손 공리는 단열 접근성으로부터 제2법칙을 유도할 수 있음을 보여주며, 이는 곱셈적 합성(multiplicative composition)과 다항 계수가 아닌 계수 규칙을 통한 지수적 스케일링을 요구한다.
쌍대성과 불변성:
- 교정 불변성: MaxEnt 분포는 엔트로피 함수의 단조 변환 및 제약 조건의 특정 변환(예: 에너지 이동)에 대해 불변이다. 다만, 열역학적 해석(온도, 포텐셜 등)은 변화한다.
- 선형-에스콧 쌍대성: 선형 제약 조건 하에서 엔트로피를 최대화하는 것과 에스콧 제약 조건 하에서 듀얼 엔트로피를 최대화하는 것 사이에는 쌍대성이 존재한다. 예를 들어, 선형 제약 조건을 가진 Tsallis 엔트로피는 특정 에스콧 제약 조건을 가진 듀얼 엔트로피와 쌍대 관계에 있으며, 동일한 $q$ -지수 분포를 산출한다.
- 역학-엔트로피 선택: 비선형 마르코프 역학(비선형 마스터 방정식)의 경우, 국소 상세 균형(local detailed balance)과 비음의 엔트로피 생성 요구 조건은 정지 분포와 호환되는 엔트로피 범함수를 유일하게 선택한다. 예를 들어, 선형 역학은 섀넌 엔트로피를 선택하는 반면, 특정 비선형 전이율은 페르미-디락, 보스-아인슈타인 또는 버그(Burg) 엔트로피를 선택한다.

의의 및 주장
본 논문은 복잡계에 대한 엔트로피의 선택이 단순히 관찰된 분포의 형태(예: 멱법칙 피팅)에 의해서만 유도되어서는 안 된다고 주장한다. 대신, 적절한 엔트로피 범함수는 다음의 시스템 특유의 속성으로부터 도출되거나 정당화되어야 한다:

미시적 구조: 상태 계수의 조합적 규칙(다중도).
역학: 시스템의 경로 의존성 및 전이율.
제약 조건: 거시적 관측량의 성격 및 평균 방식(선형 vs. 에스콧).
열역학적 성질: 위상 공간의 스케일링 및 외연성의 요구 사항.

결과적으로, 서로 다른 물리적 메커니즘(예: 구조 형성 vs. SSR 과정)이 동일한 통계적 분포를 생성할 수 있지만, 이는 서로 다른 근본적 엔트로피와 열역학적 해석을 함의한다는 점을 강조한다. 반대로, 동일한 분포가 서로 다른 엔트로피, 제약 조건, 또는 역학으로부터 발생할 수 있으며, 이는 엔트로피에 대한 총체적 접근의 필요성을 부각시킨다. 본 논문은 일반화된 엔트로피가 강력한 도구를 제공하지만, 그 적용은 반드시 연구 대상 시스템의 구체적인 구조적, 역학적 특성에 근거해야 한다고 결론짓는다.