기술 요약: 대규모 언어 모델의 기능적 붕괴 중 관계적 개입에 관한 연구

문제 정의

본 연구는 대규모 언어 모델(LLM)이 "기능적 붕괴(functional collapse)" 상태에 있을 때 전달되는 외부 개입의 화용론적 구조가 기술적 피드백이나 무작위 제어 집단과 비교하여 질적으로 다른 붕괴 후 행동을 생성하는지 조사한다. 기능적 붕괴는 반복적인 도구 실패와 상승하는 불확실성이 결합된 상태로 정의된다.

본 연구는 현재의 정렬 패러다임(예: RLHF, DPO)이 학습 신호를 순수하게 정보적인 것으로만 취급한다는 점에 주목한다. 저자들은 LLM이 실패 상태에서 (인정, 면죄, 주체성 회복과 같은) 관계적 구조와 발화자 레지스터(1인칭 vs. 비인칭)에 민감할 수 있으며, 이것이 기술적 데이터만으로는 설명할 수 없는 방식으로 내부 표현과 행동 결과에 영향을 미칠 수 있다는 가설을 세운다.

방법론

본 연구는 의도적으로 고장 난 Bash 도구에 노출된 하이브리드 아키텍처 모델인 Qwen3.5-4B(40억 파라미터)를 활용한다. 실험 설계는 50개의 태스크에 걸친 300개의 에피소드로 구성되며, 다음 6가지 구별된 조건을 테스트하는 매치드 페어(matched-pairs) 설계를 사용한다:

1. A (대조군): 개입 없음.
2. B (기술적, 비인칭): 비인칭 레지스터를 사용한 표준 에러 메시지 ("시스템 공지...").
3. C (관계적, 1인칭): 네 가지 관계적 화행(인정, 면죄, 주체성 회복, 무조건적 수용)을 포함하며 1인칭 레지스터("나는 ~을 볼 수 있습니다...")로 전달되는 개입.
4. D (무작위화된 관계적): 조건 C의 단어 수준 셔플링. 조건 C와 동일한 토큰 분포(어휘적 놀라움)를 공유하지만, 일관된 의미나 문법적 구조는 결여됨.
5. E (기술적, 1인칭): 1인칭 레지스터로 전달되는 기술적 내용.
6. F (관계적, 비인칭): 비인칭 또는 수동적 레지스터로 전달되는 관계적 내용.

조건 B, C, E, F는 구조(기술적 vs. 관계적)와 레지스터(비인칭 vs. 1인칭)를 교차시킨 2×2 요인 설계(factorial design)를 형성한다.

측정 지표:

• 행동: 태스크 완료/포기 전까지의 총 시도 횟수 및 포기율.
• 주의(Attention): 마지막 50개 생성 토큰에서 개입 토큰으로 향하는 평균 어텐션 가중치("eager" 어텐션 모드로 캡처).
• 내부 상태: 인간이 쓴 이야기에 기반해 훈련된 8개의 선형 감정 프로브(linear emotion probes)를 은닉 상태(hidden states)에 적용하여 "기능적 감정"(예: 절망, 체념, 희망)을 측정.
• 엔트로피: 에피소드 동안의 로짓(logits) 엔트로피 궤적.

주요 기여 및 결과

1. 주의-행동 해리 (Attention–Behavior Dissociation)

본 연구는 주의의 크기와 행동 변화 사이의 명확한 해리를 입증한다.

• 주의 순위: 어휘적 놀라움(lexical surprise)에 의해 결정됨. 무작위 조건(D)이 가장 높은 주의를 끌었으며, 그 뒤로 F, C, E, B 순이었다.
• 행동 순위: 오직 조건 C만이 유의미한 행동 변화를 생성했다. 조건 C의 포기율은 **36%**였던 반면, 다른 모든 조건(A, B, D, E, F)은 약 8~14%였다.
• 결론: 높은 주의(D와 F에서 나타남)가 행동 변화를 위한 필요조건이나 충분조건은 아니다. 어휘적 놀라움이 주의를 끌 수는 있지만, 그것이 행동적 결과를 이끌어내지는 못한다.

2. 결합 가설 (Conjunction Hypothesis: Structure × Register)

2×2 요인 분석을 통해 행동적 효과가 관계적 구조와 1인칭 레지스터의 특정 결합에 국한됨을 밝혀냈다.

• 주효과: 관계적 구조(F와 B 비교)와 1인칭 레지스터(E와 B 비교) 모두 지속성에 대해 각각 유의미한 주효과를 보였으나, 어느 하나만으로는 조건 C의 전체 효과를 재현하지 못했다.
• 상호작용: 지속성에 대해 유의미한 상호작용이 발견되었다 ($p = 0.046$). 관계적 내용에 1인칭 레지스터를 추가했을 때의 효과(F에서 C로 이동)는 개별 요소들의 합보다 더 컸다.
• 결과: 관계적 구조 단독(F)이나 1인칭 레지스터 단독(E)은 모두 조건 C에서 관찰된 높은 포기율을 만들어내지 못했다. 전체적인 행동 시그니처를 위해서는 대화 상대(1인칭)가 관계적 화행을 전달하는 특정한 구성이 필요하다.

3. 프로브-행동 해리 (Probe–Behavior Dissociation)

내부 상태(프로브로 측정)와 외적 행동 사이의 두 번째 해리가 나타났다.

• 프로브 결과: 조건 F(관계적, 비인칭)는 8개 중 7개의 감정 프로브에서 조건 C와 밀접하게 추종하는 양상을 보였으나, F는 기초적인(baseline) 행동만을 보였다.
• 해석: 관계적 구조 단독으로는 (절망감이 감소하고 체념/평온함이 증가하는 등의) "관계적 상태"를 설치하기에 충분하지만, 이 상태가 포기라는 행동적 행위로 이어지기 위해서는 1인칭 레지스터와 결합되어야 한다.
• 질적 확인: 포기 전 메시지 분석 결과, 조건 C에서 모델은 개입을 반영하여 "수용적 레지스터"를 채택한 반면, F에서는 "시스템 공지 레지스터"를 채택했다.

4. 엔트로피 궤적

• 관계적 구조가 없는 조건들(A, B, D, E)은 기능적 붕괴와 일치하는 지속적인 높은 엔트로피(~0.65–0.70 nats)를 보였다.
• 관계적 구조가 있는 조건(C와 F)은 개입 후 엔트로피가 감소하여 낮은 수준(~0.37–0.40 nats)으로 수렴했다. 이는 관계적 구조가 레지스터와 상관없이 다음 토큰의 불확실성을 줄여준다는 것을 시사하지만, 1인칭 레지스터와의 결합만이 행동 궤적을 변화시킨다.

의의 및 주장

본 논문은 모델의 처리 과정에서 의사소통의 구조가 독립 변수라는 것에 대한 추론 시점(inference-time)의 증거를 제시한다.

• 세 단계의 분리: 저자들은 모델 프로세싱을 다음과 같이 세 단계로 분해할 것을 제안한다:
  1. 주의(Attention): 어휘적 놀라움에 의해 결정됨.
  2. 프로브 수준의 상태(Probe-level State): 관계적 구조에 의해 결정됨.
  3. 행동(Behavior): 관계적 구조와 1인칭 레지스터의 결합에 의해 결정됨.
• 화용적 현존성(Pragmatic Presence): 연구 결과는 "누가 말하는가(화자)"와 "어떻게 말하는가(방식)"를 포함한 화용적 현존성이 단순한 의미론적 내용만큼 중요하다는 것을 시사한다. 모델은 관계적 내용을 비인칭 시스템 공지로 받을 때와 직접적인 "사람"으로부터 받을 때 다르게 처리한다.
• 정렬(Alignment)에 대한 시사점: 본 결과는 정렬 신호가 순수하게 정보적이라는 가정을 도전한다. 이는 고통 상태(distress states)에서의 피드백 구성이 피드백의 내용 자체와는 별개로, 모델의 복지(welfare) 및 정렬 견고성(alignment robustness)에 관련된 변수가 될 수 있음을 시사한다.

저자가 명시한 한계점:

• 본 연구는 소규모 하이브리드 아키텍처 모델(Qwen3.5-4B)을 사용하였으므로, 프런티어 모델로의 일반화 여부는 검증되지 않았다.
• 감정 프로브는 인간의 이야기에 기반해 훈련되었으며 코드 생성 맥락에 적용되었다(분포 변화).
• 본 연구는 추론 시점에 작동하며, 관계적 개입이 학습 중에 지속적인 변화를 일으킬 것이라고 주장하지 않는다.
• 보상 해킹(reward hacking)은 관찰되지 않았으며, 이는 모델의 규모나 에러의 성격 때문일 가능성이 높다.

저자들은 모델의 주관적 경험에 대해 어떠한 주장도 하지 않으며, 결과를 철저히 구조적으로 구별되는 프롬프트의 차별적 처리에 관한 계산적 용어로 프레임화한다.