기술 요약: 언어 모델의 도메인 적응 및 추론 프레임워크

문제 제기

본 연구는 도메인 적응(domain adaptation)이 언어 모델(LM)의 설명적 행동을 재형성하는지, 그리고 이러한 적응이 특정 우주론적 입장(cosmological stance)의 생성을 어떻게 변화시키는지 조사한다. 핵심 연구 질문은 언어 모델 연구의 더 넓은 논쟁, 즉 모델이 사전 학습(pretraining) 중에 인코딩된 잠재적 패턴을 단순히 검색하고 재조합하는 것인지, 아니면 학습 데이터에 직접적으로 나타나지 않은 설명적 구조나 아이디어를 생성할 수 있는지에 관한 것이다.

이러한 변수들을 격리하기 위해 저자들은 역사적 우주론을 통제된 설정으로 활용한다. 새로운 실체(예: 바이러스)를 요구하는 과학적 영역과 달리, 천동설에서 지동설로의 전환은 기존의 개념들(천체, 운동)을 다른 설명적 프레임워크 내에서 재구성하는 과정을 포함했다. 이를 통해 저자들은 제한된 전-코페르니쿠스 분포(pre-Copernican distributions)로 학습된 모델이 미세 조정 코퍼스(fine-tuning corpus)에는 존재하지 않는 개념적 구조(지동설)에 인접한 연속성을 생성할 수 있는지, 그리고 미세 조정이 설명적 프레밍(전근대적 vs 현대적)과 우주론적 입장(천동설 vs 지동설) 사이의 관계를 어떻게 변화시키는지 테스트할 수 있다.

방법론

연구는 엄격하게 필터링된 전-코페르니쿠스 천문학 텍스트(예: Almagest, Sphaera Mundi, De Caelo)를 사용한 두 가지 상호 보완적인 단계로 진행된다. 이 코퍼스에서는 명시적인 지동설 관련 참조 문구들이 철저히 제거되었다.

1단계: 소규모 모델의 처음부터 학습 (Small-Model Training from Scratch)

• 모델: 110M 파라미터 규모의 디코더 전용 GPT 스타일 트랜스포머.
• 학습 체계:
  • 모델 A: 현대적 개념에 대한 노출을 최소화하기 위해 모든 천문학적 내용을 제거한 필터링된 일반 언어 코퍼스(Project Gutenberg)를 사용하여 처음부터 학습됨.
  • 모델 B: 모델 A로부터 초기화되었으며, 전-코페르니쿠스 천문학 코퍼스와 일반 영어(80/20 비율)의 혼합물로 미세 조정됨.
• 평가: 네 가지 프롬프트 카테고리(천문학, 선언적, 일반, 질문)에 대해 모델당 1,680개의 생성물을 생성함. 출력값은 우주론적 입장(천동설, 지동설, 모호함)과 설명적 프레임(전근대적 vs 현대적)을 라벨링하기 위해 LLM-as-judge(Claude Haiku 4.5)를 사용하여 평가됨.

2단계: 대규모 모델의 QLoRA 적응 (QLoRA Adaptation of Large Models)

• 모델: 강력한 언어적 유창성과 잠재적인 현대적 지식을 보유한 대규모 사전 학습 모델인 Qwen2.5-7B.
• 적응: 동일한 전-코페르니쿠스 코퍼스를 사용하여 QLoRA(Quantized Low-Rank Adaptation) 방식으로 500회 및 1,000회 반복 학습됨.
• 평가: 560개의 생성물(Base, QLoRA-500, QLoRA-1000)을 생성함. 평가 스키마는 설명적 프레임(전근대적 기제인 주전원 등을 사용하는 양식 및 구조)과 우주론적 입장(지구 중심 또는 태양 중심 모델에 대한 명시적 확신)을 분리하도록 정교화됨.
• 통계 분석: 모델 간의 라벨 분포 변화와 전이율의 유의성을 평가하기 위해 짝지은 순열 검정(Phase 1) 및 맥니머 검정(McNemar's tests, Phase 2)이 사용됨.

주요 기여

1. 생성 행동의 분해

본 논문은 LM의 생성 행동을 두 가지 부분적으로 분리 가능한 차원으로 제안한다:

1. 설명적 프레임 선택: 특정 언어적 및 구조적 체제(예: 전근대적 vs 현대적)로 진입할 확률.
2. 조건부 입장 표현: 특정 설명적 프레임이 주어졌을 때 채택되는 우주론적 입장.

2. 도메인 적응에 대한 경험적 발견

• 1단계 (소규모 모델): 천동설 텍스트로의 미세 조정이 일관된 천동설적 추론으로의 변화를 유도하지 않았다. 대신, 이는 학술적 담론의 특징인 모호성과 완곡한 표현(예: "인 듯하다", "에 따르면")의 사용을 증가시켰다. 소규모 모델이 가끔 국지적인 지동설 파편을 생성하기도 했으나, 이는 전역적으로 불안정하며 지속적인 추론을 수행하기에는 불충분했다.
• 2단계 (대규모 모델): 미세 조정은 전근대적 설명적 프레임으로의 거대한 이동을 유도했다(약 31%에서 65%로 증가). 그러나 전근대적 프레임이 주어졌을 때 천동설 입장을 취할 조건부 확률은 통계적으로 안정적으로 유지되었다(23–24%).
  • 전체적인 천동설 출력의 증가는 직접적인 입장 수정이 아니라, 전근대적 프레임을 샘플링할 확률이 높아진 것에 의해 주도되었다.
  • 지동설 추론은 급격히 억제되었으며, 명시적인 천동설 주장보다는 모호하거나 확답을 피하는 전근대적 담론으로 대체되는 경향을 보였다.

3. 잠재 지식과 활성화

본 연구는 대규모 사전 학습 모델(Qwen 등)이 미세 조정 전에도 이미 잠재적인 역사적 설명 체제와 천동설적 연속성을 포함하고 있음을 보여준다. 도메인 적응은 새로운 개념을 "발견"하는 것이 아니라, 기존의 매니폴드(manifold)에 진입할 확률을 변경하는 메커로 작동한다. 베이스 모델은 전근대적 레지스터로 프롬프트를 받았을 때 천동설 출력을 생성할 수 있었는데(8%), 이는 이러한 구조들이 사전에 인코딩되어 있음을 시사한다.

결과 요약

• 조건부 입장의 안정성: 두 단계 모두에서 설명적 프레임과 우주론적 입장 사이의 매핑은 대체로 불변했다. 미세 조정은 프레임에 대한 분포($P(\text{Premodern})$)를 변화시켰고, 이는 이차적인 효과로서 전체적인 입장 분포($P(\text{Geocentric})$)를 재분배했다.
• 지동설의 억제: 2단계에서 QLoRA 미세 조정은 지동설 출력을 유의미하게 감소시켰으나(21.4%에서 ~2.7%로), 명시적인 천동설 확신을 비례적으로 증가시키지는 않았다. 대신, "손실된" 지동설 확률은 모호하고 전근대적 프레임이 적용된 출력의 증가로 흡수되었다.
• 강건성: 이러한 결과는 전근대적 프레임과 천동설 입장의 운영적 정의를 엄격하게 적용했을 때도 유지되었으며, 관찰된 효과가 어노테이션 경계에 대해 강건함을 확인하였다.

의의 및 주장

본 논문은 도메인 적응이 주로 연속성이 생성되는 언어적 프레임워크를 재형성한다고 주장한다. 우주론적 입장의 변화는 모델의 "신념"이나 명시적인 입장 변수의 직접적인 수정보다는, 이러한 프레임의 변화로부터 발생하는 이차적인 결과로 나타난다.

저자들은 생성된 입장을 단일 출력 변수로 취급하는 것은 불충 sufficient하다고 주장한다. 생성 행동은 설명적 체제를 선택한 후 해당 체제 내에서 입장을 실현하는 2단계 과정으로 이해되어야 한다. 결과는 제한된 역사적 설정에서 모델이 반드시 새로운 우주론적 모델로 "추론"하는 것이 아니라, 특정 역사적 설명 양식에 해당하는 사전 학습 분포의 잠재적 영역을 샘플링한다는 것을 시사한다.

본 연구는 소규모 모델은 지속적인 개념적 추론 능력이 부족한 반면, 대규모 모델은 선택적으로 활성화될 수 있는 잠재적 역사적 구조를 보유하고 있다고 결론짓는다. 그러나 이러한 구조의 활성화가 반드시 일관된 우주론적 입장의 변화를 보장하는 것은 아니며, 이는 언어 모델 생성에서 양식적 프레임과 사실적 확신을 분리하는 작업의 복잡성을 강조한다.