Interpretable-by-Design Transformers via Architectural Stream Independence

이 논문은 토큰 스트림과 문맥적 의미를 분리하여 처리하는 'Late Fusion Architecture(LFA)'를 제안함으로써, 사전적 구조적 제약을 통해 모델의 내재적 해석 가능성을 보장하고 의미 이해를 강화하며 위치적 휴리스틱에 대한 의존성을 줄이는 새로운 접근법을 제시합니다.

핵심

🧠 AI 가 "생각하는 과정"을 투명하게 보여주는 혁신: '지연된 융합 (Late Fusion)' 아키텍처

이 논문은 인공지능 (특히 '트랜스포머' 모델) 이 어떻게 결정을 내리는지 그 내부 작동 원리를 투명하게 만들 수 있다는 놀라운 발견을 담고 있습니다.

기존 AI 는 매우 똑똑하지만, 그 두뇌 속이 어떻게 돌아가는지 알 수 없는 **'블랙박스 (Black Box)'**였습니다. 하지만 이 연구는 AI 의 설계 단계부터 구조를 바꿔서, 어떤 부분이 '의미'를 처리하고 어떤 부분이 '위치'를 처리하는지 분리해 볼 수 있게 했습니다.

이 복잡한 개념을 쉽게 이해할 수 있도록 두 가지 비유로 설명해 드리겠습니다.

---

🏭 비유 1: 혼잡한 공장 vs. 분리된 생산 라인

❌ 기존 AI (Standard Transformer): "혼란스러운 공장"

기존 AI 는 정보를 처리할 때 모든 것을 한 번에 섞어버립니다.

• 상황: 공장에 들어온 원자재 (단어) 에 위치 정보 (1 번째 단어, 2 번째 단어) 를 즉시 붙여서, 모든 기계가 이 섞인 덩어리를 함께 다룹니다.
• 문제: 시간이 지나면서 '위치'라는 정보가 '의미'라는 정보와 완전히 뒤섞여 버립니다. 나중에 "어느 기계가 위치를 기억했지?"라고 물어봐도, 모든 기계가 다 섞어서 "모르겠다"라고 답합니다.
• 결과: AI 가 실수했을 때 (예: 최근의 단어만 보고 답하는 '최근성 편향'), 왜 그런 실수를 했는지 원인을 찾기 어렵습니다.

✅ 새로운 AI (LFA, Late Fusion Architecture): "분리된 생산 라인"

이 논문이 제안한 LFA는 공장을 두 개의 완전히 분리된 라인으로 나눕니다.

1. 위치 라인 (Frozen Stream): "이 단어는 1 번째, 저 단어는 5 번째"라는 위치 정보만 담는 라인입니다. 이 라인은 절대 변하지 않고 (동결됨) 마지막까지 깨끗하게 유지됩니다.
2. 의미 라인 (Context Stream): "이 단어는 '사과'고, 저 단어는 '바구니'야"라는 의미 정보만 담는 라인입니다. 이 라인은 계속 학습하고 발전합니다.

• 핵심: 두 라인은 마지막 출구 (결과를 내는 순간) 가 될 때까지 절대 섞이지 않습니다.
• 장점: 중간에 "의미 라인이 잘못되었나?" 아니면 "위치 라인이 잘못되었나?"를 정확하게 분리해서 볼 수 있습니다. 마치 두 개의 투명 유리 창문을 통해 각각의 과정을 지켜보는 것과 같습니다.

---

🧪 비유 2: 외과 수술 vs. 폭탄 터뜨리기

연구팀은 이 구조가 실제로 얼마나 유용한지 실험을 통해 증명했습니다.

• 실험: AI 가 "도구"와 "용기" 중 무엇을 선택할지 고민할 때, **위치 정보를 담당하는 부위 (머리)**를 강제로 끄거나 약하게 만들었습니다.

모델 유형	수술 결과 (비유)	설명
기존 AI (Std-T)	💥 폭탄 터짐	위치 정보를 끄자마자, 의미 이해 능력까지 함께 무너졌습니다. (의미와 위치가 너무 뭉개져서 하나를 건드리면 전체가 망가짐)
새로운 AI (LFA)	🩺 정밀 수술	위치 정보를 끄자, 위치 기억은 사라졌지만 "도구"와 "용기"를 구분하는 의미 이해 능력은 그대로 살아있었습니다.

이것은 **의미 (Semantic)**와 **위치 (Position)**가 완전히 독립적으로 작동한다는 것을 의미합니다. 연구자들은 이를 통해 AI 의 실수 원인을 정확히 찾아내고, 필요한 부분만 수정할 수 있게 되었습니다.

---

🌟 이 연구가 왜 중요한가요?

1. 설계 단계에서의 투명성: 과거에는 AI 가 어떻게 생각했는지 나중에 분석 (Post-hoc) 하느라 고생했지만, 이제는 설계할 때부터 투명하게 만들 수 있습니다.
2. 실수 방지: AI 가 "최근에 들은 말만 믿는" 편견을 가질 때, 왜 그런지 구조적으로 파악하고 고칠 수 있습니다.
3. 신뢰성: AI 가 "왜 이 답을 냈는지"를 인간이 직접 눈으로 확인할 수 있게 되어, 의료나 법률 같은 중요한 분야에서 AI 를 더 신뢰할 수 있게 됩니다.

💡 한 줄 요약

"기존 AI 는 모든 정보를 섞어서 블랙박스처럼 만들지만, 이 새로운 설계 (LFA) 는 '의미'와 '위치'를 분리된 창고에 보관했다가 마지막에 합쳐서, AI 의 두뇌 속을 투명하게 들여다보고 정밀하게 고칠 수 있게 해줍니다."

이 연구는 AI 가 단순히 "정답을 맞추는 기계"를 넘어, **우리가 이해하고 통제할 수 있는 "투명한 사고 기계"**로 발전할 수 있는 길을 열었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 현재의 한계: 트랜스포머 (Transformer) 기반 언어 모델은 뛰어난 성능을 보이지만, 내부 의사결정 과정은 여전히 불투명 (opaque) 합니다. 모델이 실패할 때 (예: 최근성 편향, 아첨, 허위 상관관계 등) 그 근본 원인을 파악하고 해결하기 위한 도구가 부족합니다.
• 기존 접근법의 부족: 기존 해석 가능성 (Interpretability) 연구는 대부분 학습 후 (Post-hoc) 에 모델이 무엇을 학습했는지 분석하는 데 집중합니다. 그러나 이는 모델이 어떻게 학습되었는지, 혹은 왜 특정 행동을 하는지에 대한 구조적인 통찰을 제공하지 못하며, "설계 단계에서부터 해석 가능하도록 만드는 (Interpretable-by-Design)" 모델을 구축하는 길을 제시하지 못합니다.
• 핵심 질문: 모델 내부의 특정 메커니즘이 고수준 행동을 제어하는지 식별할 수 있을까요? 학습된 결과를 분석하는 대신, 구조적 제약 (Architectural Constraints) 을 통해 해석 가능성을 설계에 포함시킬 수 있을까요?

2. 방법론 (Methodology)

2.1 핵심 개념: 아키텍처 스트림 독립성 (Architectural Stream Independence)

이 논문은 토큰 스트림 (기호적 구조) 과 문맥적 의미 (Contextual Semantics) 를 분리된 스트림으로 유지하며, 처리가 끝날 때까지 독립적으로 관찰 가능하게 유지하는 아키텍처를 제안합니다.

• 기존 방식 (Std-T): 토큰 위치 인코딩과 토큰 식별자가 0 번째 레이어에서 즉시 결합되어 밀집 어텐션 (Dense Attention) 을 통해 의미 특징과 섞입니다. 이로 인해 2~3 번째 레이어쯤 되면 기호적 구조가 분산된 의미 표현에 녹아들어 (Dissolution) 분리해 관찰하기가 불가능해집니다.
• 제안 방식 (LFA): Late Fusion Architecture (LFA) 를 통해 즉시 통합을 지연시킵니다.
  • 고정된 토큰 스트림 ($X_T$): 토큰의 위치와 기호적 구조를 인코딩하지만, 그라디언트 흐름에 의해 손상되지 않도록 동결 (Frozen) 됩니다.
  • 가변적 문맥 스트림 ($X_E$): 의미적 업데이트를 누적합니다.
  • 비대칭 정보 흐름: $X_T$ 는 $X_E$ 에 영향을 주지만, $X_E$ 는 $X_T$ 를 수정하지 않습니다. 어텐션과 FFN 은 두 스트림을 모두 읽지만, 업데이트는 오직 $X_E$ 에만 씁니다.
  • 지연된 통합: 두 스트림은 최종 출력 레이어 (lm head) 에서만 대칭적으로 결합됩니다.

2.2 실험 설정

• 모델 구성: 4 가지 아키텍처 변형을 TinyStories 데이터셋 (2M 샘플, 2 에포크) 으로 훈련하여 비교했습니다.
  1. Std-T: 표준 트랜스포머 (즉시 통합).
  2. D-Cas: 고정된 스트림만 적용 (밀집 어텐션/FFN 사용).
  3. LFA (제안): 고정된 스트림 + 독립적 어텐션 + 밀집 FFN (스트림 분리 유지).
  4. CFM: 고정된 스트림 + 독립적 어텐션 + 독립적 FFN (과도한 제약).
• 모델 크기: 13M~22M 파라미터 (소규모 모델).

2.3 평가 지표

1. 토큰 - 위치 의존성 점수 (Token-Position Dependence Score, PDS): 심층 레이어에서 토큰 위치 신호가 의미 표현과 분리되어 독립적으로 관찰 가능한지 측정합니다. 높은 PDS 는 스트림 독립성이 유지됨을 의미합니다.
2. 개입 실험 (Intervention Experiments): '최근성 헤드 (Recency Heads)'를 억제 (Soft gating) 했을 때 의미적 성능에 미치는 영향을 측정합니다.
   • Cohen's d: 개입으로 인한 성능 저하 효과 크기. 값이 0 에 가까울수록 기능적 모듈성 (해석 가능성) 이 높음을 의미합니다.
3. 코어퍼런스 (Coreference) 분석: 대명사가 올바른 선행사를 참조하는지, 그리고 위치 변화에 관계없이 의미적 적합성을 유지하는지 (Stability) 를 측정합니다.

3. 주요 결과 (Key Results)

3.1 구조적 독립성과 관측 가능성

• PDS 비교: LFA 는 6 개 레이어 중 4~5 레이어에서도 높은 PDS (최대 0.276) 를 유지하여 심층 레이어에서도 위치 신호가 독립적으로 관찰 가능함을 입증했습니다. 반면, 표준 트랜스포머 (Std-T) 는 3 번째 레이어까지 PDS 가 급격히 감소하여 0.058 수준으로 떨어졌습니다.
• 시각화: LFA 는 위치 처리가 깊은 레이어 (L4-L5) 에 집중되어 있는 반면, Std-T 는 초기 레이어 (L0-L1) 에서 즉시 섞여 사라지는 것을 확인했습니다.

3.2 기능적 모듈성 및 개입 실험

• 손상 최소화: LFA 의 최근성 헤드를 억제했을 때 의미적 성능 저하가 미미했습니다 (Cohen's d = -0.158). 이는 위치 추적 메커니즘과 의미 이해 메커니즘이 기능적으로 독립적임을 의미합니다.
• 비교: Std-T 는 중간 정도의 손상 (d = -0.298), 과도하게 제약된 CFM 은 치명적인 붕괴 (d = -0.672) 를 보였습니다. CFM 의 경우 위치 헤드가 의미 처리에 필수적으로 얽혀 있어 제거 시 전체 기능이 무너졌습니다.
• 결론: 아키텍처적 독립성은 "수술적 개입 (Surgical Intervention)"을 가능하게 하여, 특정 메커니즘을 손상시키지 않고 다른 메커니즘을 조작할 수 있게 합니다.

3.3 전문화 (Specialization) 및 안정성

• 헤드 집중: LFA 는 코어퍼런스 해결을 위한 전문 헤드가 L3~L4 레이어에 명확하게 집중되어 있습니다 (상위 헤드 L4.H3 정확도 48.3%). 반면 Std-T 는 전문 헤드가 여러 레이어에 흩어져 있어 (Best head L1.H5) 분석이 어렵습니다.
• 위치 불변성: LFA 는 토큰의 위치가 바뀌더라도 의미적으로 적합한 대상을 선택하는 안정성 (Stability) 이 평균 42% 로 높았으나, Std-T 는 19%, CFM 은 11% 에 그쳤습니다. 이는 스트림 분리가 의미 학습을 강화한다는 것을 보여줍니다.

4. 주요 기여 (Key Contributions)

1. 설계 기반 해석 가능성 (Interpretability-by-Design): 학습 후 분석이 아닌, 아키텍처적 제약 (스트림 분리, 그라디언트 격리, 지연 통합) 을 통해 모델 내부 메커니즘이 투명하게 관찰되도록 설계하는 원리를 제시했습니다.
2. Late Fusion Architecture (LFA) 제안: 토큰 스트림과 문맥 스트림을 분리하여 최종 출력까지 독립적으로 유지하는 새로운 아키텍처를 구현하고 검증했습니다.
3. 정량적 검증 지표 개발:
   • PDS (Token-Position Dependence Score): 기호적 구조의 독립성을 측정.
   • Cohen's d (Intervention Effect): 기능적 모듈성과 개입의 안전성을 측정.
4. 기능적 투명성 입증: 아키텍처적 독립성이 모델의 학습 메커니즘을 개선하여, 의미 이해를 위치 휴리스틱보다 우선시하게 하고, 헤드의 전문화를 유도하며, 개입 시 부작용을 최소화함을 실험적으로 증명했습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 해석 가능성은 사후 분석 (Post-hoc analysis) 의 영역이 아니라, 모델 설계 단계에서 구조적 제약을 통해 강제할 수 있는 설계 기준 (Design Criterion) 이 되어야 함을 주장합니다.
• 실용적 통찰: "아키텍처적 스트림 독립성"은 모델이 기호적 구조와 의미적 내용을 분리하여 처리하게 함으로써, 인간이 모델의 추론 과정을 직접 관찰하고 이해할 수 있는 경로를 제공합니다.
• 한계 및 향후 과제: 현재 실험은 소규모 모델 (13M~22M 파라미터) 과 제한된 태스크 (TinyStories, 코어퍼런스) 에 국한되어 있습니다. 수십억 파라미터 규모의 대규모 모델에서 이 원리가 유효한지, 그리고 복잡한 추론 태스크에서도 적용 가능한지 검증이 필요합니다.

요약하자면, 이 논문은 트랜스포머의 내부 불투명성을 해결하기 위해 '스트림 분리'라는 구조적 원칙을 도입함으로써, 모델이 스스로 해석 가능한 방식으로 학습하도록 유도하는 획기적인 접근법을 제시했습니다.