Teleodynamic Learning a new Paradigm For Interpretable AI

이 논문은 고정된 목적 함수의 최소화가 아닌 제약 하의 기능적 조직의 등장을 학습으로 보는 '텔레다이나믹 학습' 패러다임을 제시하고, 이를 스펜서-브라운의 형식 법칙과 정보 기하학에 기반한 '구별 엔진 (DE11)'으로 구현하여 표준 벤치마크에서 높은 정확도와 해석 가능한 논리 규칙을 동시에 달성함을 보여줍니다.

핵심

🧠 핵심 아이디어: "최적화"가 아닌 "항해"

기존의 인공지능 학습은 보통 **"최적화 (Optimization)"**로 설명됩니다.

비유: 마치 산 꼭대기에 있는 보물을 찾기 위해, 지도를 펼쳐 가장 짧은 길을 계산하는 것과 같습니다. "어디가 가장 낮은 곳인가?"를 찾아서 그쪽으로만 이동합니다.

하지만 이 논문은 학습을 **"항해 (Navigation)"**로 봅니다.

비유: 배를 타고 바다를 항해하는 것과 같습니다. 우리는 미리 정해진 '가장 짧은 경로'가 없습니다. 대신 **바람 (데이터), 연료 (자원), 그리고 배의 구조 (모델)**가 서로 영향을 주며 움직입니다. 배가 너무 무거우면 연료가 빨리 떨어지고, 연료가 부족하면 더 이상 항해할 수 없습니다.

이 논문은 인공지능이 단순히 정답을 찾는 것이 아니라, 자신의 구조, 파라미터 (설정값), 그리고 자원 (에너지) 이 서로 조화를 이루며 살아남는 과정이라고 말합니다.

---

🏗️ 세 가지 핵심 요소 (비유로 설명)

이 새로운 방식은 세 가지 요소가 서로 얽혀 작동합니다.

1. 두 가지 시간의 흐름 (Inner & Outer Dynamics)

• 내부 동역학 (빠른 물결): 배의 노를 저거나 방향을 미세하게 조정하는 것 (파라미터 수정). 이는 매 순간 일어납니다.
• 외부 동역학 (느린 파도): 배의 돛을 늘리거나 선체를 개조하는 것 (모델 구조 변경). 이는 드물게 일어납니다.
• 기존 방식의 문제: 보통은 배를 먼저 고치고 (구조 변경), 그 다음에 노를 저었습니다 (파라미터 학습).
• 이 방식의 장점: 배를 고치면서 동시에 노를 저을 수 있습니다. 상황에 따라 즉석에서 배의 모양을 바꾸며 나아갑니다.

2. 내재된 자원 (Endogenous Resource)

• 기존 방식: "학습 시간은 100 시간, 연료는 100 리터"라고 외부에서 정해줍니다. 학습 알고리즘은 연료가 부족하다는 걸 모르고, 시간이 다 되면 강제로 멈춥니다.
• 이 방식: 배에 **연료계 (에너지 변수)**가 달려 있습니다.
  • 좋은 예측을 하면 연료가 채워집니다 (보상).
  • 배를 개조하거나 새로운 돛을 달면 연료가 나갑니다 (비용).
  • 핵심: 연료가 바닥나면 배는 더 이상 구조를 바꿀 수 없습니다. 시스템 스스로 "이제 더 이상 고칠 필요가 없다"거나 "더 이상 고칠 여력이 없다"고 판단하여 멈춥니다.

3. 목적지 없는 성장 (Emergent Stabilization)

• 기존 방식: "오류가 1% 이하가 되면 멈춰라"라고 외부에서 정해줍니다.
• 이 방식: 시스템이 스스로 안정화됩니다.
  • 처음에는 배가 너무 작아서 (구조 부족) 연료를 많이 쓰며 배를 크게 만듭니다.
  • 어느 정도 배가 커지면, 연료 소모가 줄어들고 예측이 잘 됩니다.
  • 더 이상 배를 크게 할 필요가 없으면, 시스템은 자연스럽게 "아무것도 하지 않음 (No-op)"을 선택하며 멈춥니다. 마치 성장이 멈춘 나무처럼 스스로 멈추는 것입니다.

---

🛠️ 실제 실험: '디스틴션 엔진 (DE11)'

저자들은 이 이론을 **'디스틴션 엔진 (DE11)'**이라는 프로그램으로 구현했습니다.

• 어떻게 작동하나요?

  • 이 프로그램은 Spenser-Brown 의 '형식 (Laws of Form)'이라는 논리 규칙을 사용합니다.
  • 데이터를 보며 "이건 A 고, 저건 B 야"라고 규칙을 만들어냅니다.
  • 규칙이 너무 복잡해지면 연료 (에너지) 가 부족해져서 더 이상 규칙을 추가하지 못합니다.
  • 결과적으로 사람이 이해할 수 있는 간단한 논리 규칙만 남게 됩니다.

• 성적표는 어떨까요?

  • IRIS (꽃 분류): 93.3% (기존 로지스틱 회귀 91.1% 보다 좋음)
  • 와인 분류: 92.6%
  • 유방암 진단: 94.7%
  • 특이점: 정확도만 높은 게 아니라, "왜 그렇게 판단했는지"를 사람이 읽을 수 있는 규칙 (예: "꽃잎 길이가 짧고 너비가 넓으면 A 종") 으로 보여줍니다.

---

💡 왜 이것이 중요한가요? (일상적인 의미)

1. 블랙박스 탈출: 기존 딥러닝은 "왜 이걸 찍었지?"라고 물어보면 아무도 모릅니다. 하지만 이 방식은 **"내가 이런 규칙을 만들었기 때문에 찍었다"**라고 명확히 설명합니다. (의사, 변호사, 금융 분야에 필수적)
2. 자원 효율성: 스마트폰이나 작은 기기에서도 작동할 수 있습니다. "연료"가 부족하면 더 이상 복잡한 모델을 만들지 않기 때문입니다.
3. 자연스러운 학습: 생물이 학습하는 방식 (뇌가 구조를 바꾸며 적응하는 방식) 에 더 가깝습니다. "정해진 공식을 외우는 것"이 아니라 "상황에 맞춰 스스로를 변형하는 것"입니다.

📝 한 줄 요약

"인공지능에게 정해진 답을 찾으라고 시키는 대신, 연료와 구조를 스스로 조절하며 바다를 항해하게 하라. 그랬을 때 AI 는 스스로 멈추는 법을 배우고, 그 과정에서 우리가 이해할 수 있는 지혜를 얻게 된다."

이 논문은 인공지능이 단순히 '계산'하는 도구를 넘어, 제약 조건 안에서 스스로 조직화되는 '살아있는 시스템'으로 진화할 수 있는 새로운 길을 제시합니다.

기술 요약

텔레다이나믹 러닝 (Teleodynamic Learning): 해석 가능한 AI 를 위한 새로운 패러다임

Enrique ter Horst, Juan Zambrano 의 논문 요약

이 논문은 기계 학습을 정적 목적 함수의 최소화 (Optimization) 가 아닌, 제약 조건 하에서의 기능적 조직의 출현과 안정화 (Emergence and Stabilization) 로 재해석하는 **텔레다이나믹 러닝 (Teleodynamic Learning)**이라는 새로운 패러다임을 제시합니다. 생물학적 시스템이 어떻게 적응적 지능을 발달시키는지에서 영감을 받아, 구조 (Structure), 매개변수 (Parameters), 자원 (Resources) 이 상호 제약 하에서 공진화 (Co-evolve) 하는 동적 과정을 모델링합니다.

---

1. 문제 정의 (The Problem)

기존의 기계 학습 이론은 다음과 같은 근본적인 한계를 가지고 있습니다:

• 고정된 가설 공간: 학습은 미리 정의된 구조 (예: 신경망 아키텍처) 내에서 매개변수만 조정하는 과정으로 간주됩니다. 구조와 매개변수의 학습이 분리되어 있습니다.
• 외부적 자원 제약: 학습 예산, 파라미터 수, 시간 제한 등은 외부에서 부과된 제약 조건일 뿐, 시스템 내부의 동역학적 변수로 작용하지 않습니다.
• 정적 최적화 관점: 학습은 손실 함수를 최소화하는 정적 지점을 찾는 것으로 보며, 학습 과정의 역사성 (Path dependence) 과 동적 안정화 메커니즘을 설명하지 못합니다.

생물학적 학습은 구조, 매개변수, 자원이 서로 영향을 주며 시간에 따라 함께 진화하는 과정입니다. 이 논문은 이러한 생물학적 현실을 반영하여, **학습을 제약된 동적 시스템 내에서의 항해 (Navigation)**로 정의합니다.

2. 방법론 (Methodology)

텔레다이나믹 러닝은 세 가지 핵심 동역학과 하나의 자원으로 구성됩니다.

2.1 핵심 구성 요소

1. 이중 시간 규모 동역학 (Two-Timescale Dynamics):

   • 내부 동역학 (Inner Dynamics): 고정된 구조 내에서 매개변수를 연속적으로 적응시키는 과정 (예: 자연 경사 하강법).
   • 외부 동역학 (Outer Dynamics): 가설 공간 자체를 변경하는 이산적 구조 수정 과정 (예: 새로운 규칙 생성, 기존 규칙 정제).
   • 이 두 과정은 **내생적 자원 변수 (Endogenous Resource, $E$)**를 통해 결합됩니다.

2. 내생적 자원 (Endogenous Resource):

   • 학습 행동 (구조 변경 등) 은 자원을 소모하고, 예측 성공은 자원을 보충합니다.
   • 자원은 시스템이 "어떤 행동을 취할 수 있는지"를 게이트 (Gate) 하는 동적 변수로 작용하며, 외부에서 고정된 예산이 아닙니다.

3. 국소 텔레다이나믹 목적 함수 (Local Teleodynamic Objective, $J$):

   • 각 행동 (Action) 마다 평가되는 국소적 목적 함수를 사용합니다:
     $$J = L(\text{예측 손실}) + \lambda_c \cdot \Delta C(\text{구조 복잡성 변화}) + \lambda_e \cdot \Delta E(\text{에너지 소모})$$
   • 이 함수는 전역 최적화를 추구하지 않으며, 현재 상황에서 가장 합리적인 국소적 행동을 선택합니다.

2.2 수학적 프레임워크

이론은 다음 세 가지 기둥 위에 구축됩니다:

• Spencer-Brown 의 '형식 (Forms)' 법칙: 논리적 구조를 표현하기 위해 불리언 대수를 일반화한 계산적 언어를 사용하며, 확률적 의미론 (Soft Evaluation) 을 도입합니다.
• 정보 기하학 (Information Geometry): 파라미터 적응을 위해 피셔 정보 행렬 (Fisher Information Matrix) 기반의 자연 경사 (Natural Gradient) 를 사용하여 수렴성을 보장합니다.
• 코알게브라 (Coalgebraic Semantics): 시스템의 상태 전이와 관측 행동을 구성적 (Compositional) 으로 정의합니다.

2.3 구체적 구현: Distinction Engine (DE11)

논문의 제안된 패러다임을 구현한 시스템으로, 다음과 같은 구조적 행동을 수행합니다:

• Genesis (탄생): 새로운 가설 (규칙) 을 생성하여 클래스를 커버합니다.
• Wedge (쐐기): 오분류된 가설을 예외 (Exception) 로 정제하여 분할합니다.
• Noop (무작위): 구조를 변경하지 않고 파라미터만 업데이트합니다.
• ReEntry (재진입): 반복되는 하위 구조를 압축하여 복잡성을 줄입니다.

3. 주요 기여 (Key Contributions)

1. 패러다임의 전환: 학습을 "최적화"가 아닌 "동적 시스템 내 항해"로 재정의했습니다. 구조, 매개변수, 자원의 공진화를 단일 원리로 통합했습니다.
2. 수학적 프레임워크 및 수렴성 증명:
   • 내부 동역학 (매개변수) 이 구조가 고정되지 않은 상태에서도 자연 경사 하강법을 통해 수렴함을 증명했습니다 (Theorem 4.3).
   • 구조적 동역학이 외부 정지 기준 없이도 **자발적으로 정지 (Emergent Structural Halt)**함을 보였습니다.
3. 위상 구조 (Phase Structure) 의 규명: 학습 과정이 세 가지 명확한 단계를 거친다는 것을 발견했습니다:
   • Under-structuring: 가설이 부족하여 손실이 높은 초기 단계.
   • Teleodynamic Growth: 구조와 파라미터가 자원을 소모하며 공진화하는 성장 단계.
   • Equilibrium/Over-structuring: 구조가 안정화되거나 과도하게 성장하는 단계.
4. 해석 가능한 규칙 생성: DE11 은 블랙박스 모델이 아닌, 인간이 이해할 수 있는 논리적 규칙 (Logical Rules) 을 내생적으로 생성합니다.

4. 실험 결과 (Results)

UCI 벤치마크 데이터셋 (IRIS, WINE, Breast Cancer, DIGITS) 에서 실험을 수행했습니다.

• 성능:
  • IRIS: 93.3% (로지스틱 회귀 91.1% 대비 우위)
  • WINE: 92.6%
  • Breast Cancer: 94.7%
  • 구조 학습이 없는 경우 (Regime C) 에 비해 성능이 크게 저하됨 (IRIS 에서 27% 차이), 구조 학습의 필수성 입증.
• 해석 가능성:
  • 최종 모델은 7 개의 논리적 규칙 (IRIS 기준) 으로 구성되며, 각 규칙은 입력 공간의 특정 영역을 정의합니다.
  • 결정 트리나 랜덤 포레스트와 비교했을 때, 유사한 정확도를 유지하면서 더 적은 수의 규칙으로 높은 해석 가능성을 제공합니다.
• 동역학적 특성:
  • 자발적 정지: 외부의 정지 기준 (Early Stopping) 이 없어도, 시스템이 추가 구조 변경이 이득이 되지 않을 때 스스로 구조 변경을 멈춥니다.
  • 에너지 - 정확도 트레이드오프: 높은 정확도를 달성하기 위해서는 적절한 수준의 에너지 (자원) 투자가 필요함을 보여주며, 파레토 프론티어 (Pareto Frontier) 상에서 효율적인 학습이 이루어짐을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 기계 학습 연구에 다음과 같은 중요한 시사점을 제공합니다:

1. 해석 가능한 AI (XAI) 의 새로운 접근: 해석 가능성은 사후 분석 (Post-hoc) 이 아니라, 학습 과정 자체의 동역학적 결과 (구조의 자발적 형성) 로부터 자연스럽게 도출됩니다.
2. 자원 인식형 학습 (Resource-Aware Learning): 계산 자원을 외부 제약이 아닌 시스템 내부의 동적 변수로 통합함으로써, 실제 물리적 제약 (배터리, 엣지 디바이스 등) 하에서의 학습을 위한 이론적 기반을 마련했습니다.
3. 생물학적 학습의 모방: 생물체가 환경과 자원의 제약 하에서 스스로 조직을 유지하고 진화하는 방식 (Teleodynamics) 을 기계 학습에 적용하여, 더 적응적이고 자율적인 AI 시스템 개발의 길을 열었습니다.
4. 최적화 중심 사고의 탈피: 정적 목적 함수의 최소화가 모든 학습 문제를 해결할 수 없다는 점을 지적하며, 복잡한 구조 공간과 자원 제약 하에서는 동적 항해 (Navigation) 관점이 더 적합함을 주장합니다.

결론적으로, 텔레다이나믹 러닝은 학습을 "함수의 최소화"가 아닌 "제약 조건 하에서의 조직 유지 및 진화"로 재정의함으로써, 더 투명하고 적응적이며 생물학적으로 타당한 인공지능의 새로운 지평을 제시합니다.