NRR-Phi: Text-to-State Mapping for Ambiguity Preservation in LLM Inference

이 논문은 모호한 입력에 대한 LLM 의 조기 의미 확정 (collapse) 을 방지하고 여러 해석을 공존시키는 비-해결 추론 (NRR) 프레임워크를 구현하기 위해, 텍스트를 비-축퇴 상태 공간으로 매핑하는 'NRR-Phi'라는 형식적 체계와 하이브리드 추출 파이프라인을 제안합니다.

핵심

이 논문은 **"대화가 흐르는 동안, AI 가 너무 빨리 결론을 내리는 버릇을 고치는 방법"**에 대해 이야기합니다.

기존의 대형 언어 모델 (LLM) 은 우리가 모호하게 말하면, AI 가 "아, 이거 저렇게 해석해야겠네!" 하고 일단 한 가지 결론을 확정해버리는 (Collapse) 경향이 있습니다. 하지만 실제로는 그 말이 여러 가지 의미를 동시에 가질 수 있는데, AI 가 그 가능성을 모두 죽여버리는 것이죠.

이 논문은 **"NRR-Phi"**라는 새로운 시스템을 제안하며, AI 가 여러 가지 의미를 동시에 품고 있는 상태를 유지하도록 도와줍니다.

이 복잡한 개념을 쉽게 이해하기 위해 세 가지 비유로 설명해 드릴게요.

---

1. 문제 상황: "너무 빠른 결정" (Early Semantic Commit)

비유: "미친 속도로 요리하는 셰프"

상상해 보세요. 손님이 식당에 와서 **"전 고기 먹고 싶지만, 채소도 먹고 싶어요"**라고 주문합니다.
기존의 AI 셰프는 이 말을 듣자마자 즉시 **"아! 고기 요리로 정했다!"**라고 외치며 한 접시만 만들어냅니다.

• 문제: 손님은 아직 고기만 먹을지, 채소만 먹을지, 둘 다 섞을지 고민 중인데, AI 는 고민할 시간도 주지 않고 한 가지 선택만 해버립니다.
• 결과: 나중에 손님이 "아니, 사실 채소도 좀 더 먹고 싶었는데..."라고 말하면, AI 는 이미 요리가 다 된 상태라 뒤늦게 수정할 수 없습니다. AI 는 대화의 흐름을 놓치고, 중요한 정보를 잃어버리게 됩니다.

2. 해결책: "NRR-Phi" (텍스트를 '상태'로 바꾸는 기술)

이 논문이 제안하는 NRR-Phi는 AI 에게 **"결정을 미루는 법"**을 가르칩니다.

비유: "모든 가능성을 담은 '스마트한 요리대'"

이 새로운 시스템은 손님의 주문을 받자마자 요리하기 시작하지 않습니다. 대신, 요리대 위에 여러 가지 재료를 동시에 올려둡니다.

• 상황: "고기 먹고 싶지만 채소도 먹고 싶어"라는 주문을 받으면, AI 는 **"고기 요리 상태"**와 **"채소 요리 상태"**를 동시에 요리대 위에 놓아둡니다.
• 작동 원리:
  1. 갈등 감지: "하지만 (but)"이나 "아마도 (maybe)" 같은 단어를 찾아냅니다. (예: "아니, 고기지만 채소도..." → "아, 여기서 갈등이 있구나!")
  2. 해석 추출: AI 가 "이 말은 A 의미일 수도 있고, B 의미일 수도 있겠다"라고 여러 가지 해석을 나열합니다.
  3. 상태 구축: 이 해석들을 **하나의 상태 (State)**로 만듭니다. 이때 각 해석은 동시에 살아있는 상태로 남습니다.

이제 AI 는 "고기만 먹을지, 채소만 먹을지"를 결정하지 않고, **"고기와 채소 모두 가능한 상태"**로 머릿속을 유지합니다.

3. 핵심 기술: "혼합 추출기" (Hybrid Extraction)

AI 가 어떻게 여러 의미를 찾아낼까요? 두 가지 방법을 섞어서 사용합니다.

• 규칙 기반 (Rule-based): "하지만", "아마도" 같은 명확한 신호등을 봅니다.
  • 비유: "문장에 '하지만'이 있네? 그럼 앞뒤 문장이 서로 다른 의미일 거야!"라고 규칙대로 쪼개어 봅니다. (일본어 '케도', '카모시레나이' 같은 말도 알아챕니다.)
• LLM 기반 (LLM-based): 신호등이 없는 복잡한 문장은 AI 의 상상력을 씁니다.
  • 비유: "이 문장은 문법적으로도 여러 가지로 해석될 수 있겠네?"라고 AI 가 스스로 여러 가지 시나리오를 만들어냅니다.

이 두 방법을 합치면, AI 는 어떤 문장이든 여러 의미를 동시에 품을 수 있게 됩니다.

4. 실험 결과: "정보의 엔트로피 (혼란도) 유지"

논문에서는 이 방법이 얼마나 효과적인지 실험했습니다.

• 기존 AI: 여러 의미를 하나로 합쳐버려서 정보의 다양성 (엔트로피) 이 0이 됩니다. (모든 가능성이 사라짐)
• 새로운 AI (NRR-Phi): 여러 의미를 그대로 유지해서 정보의 다양성 (엔트로피) 이 1.087로 높게 유지됩니다.
  • 비유: 기존 AI 는 한 가지 색깔만 남긴 페인트통이라면, 새로운 AI 는 모든 색이 섞여 있지만 각자 빛을 발하는 무지개 페인트통입니다.

5. 왜 중요한가요? (심리 상담 예시)

이 기술이 특히 유용한 곳은 심리 상담 같은 곳입니다.

• 고객: "그 사람을 사랑하지만, 그 사람과 있으면 고통스러워."
• 기존 AI: "사랑이 더 크니 그 사람을 선택하세요" 혹은 "고통이 크니 헤어지세요"라고 해결책을 제시합니다. (하지만 고객은 아직 결정하지 못했을 수 있습니다.)
• 새로운 AI: "사랑하는 마음"과 "고통받는 마음"을 동시에 유지하며, "두 가지 감정이 공존하고 있군요. 그 감정을 함께 살펴볼까요?"라고 해결을 미루고 공감합니다.

요약

이 논문은 **"AI 가 너무 빨리 결론을 내리지 말고, 여러 가지 가능성을 '동시'에 품고 있을 수 있게 해주는 기술"**을 소개합니다.

• 기존: "무엇인가?" → "정답은 A 입니다!" (결론 확정)
• 새로운 (NRR-Phi): "무엇인가?" → "A 일 수도 있고, B 일 수도 있고, C 일 수도 있네요. 모두 유지해두죠." (결론 유보)

이렇게 하면 AI 는 더 인간처럼 모호함과 갈등을 이해할 수 있게 되며, 대화의 흐름을 더 자연스럽게 이어갈 수 있게 됩니다. 마치 미결정 상태를 존중하는 현명한 대화 파트너가 되는 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 자연어 이해와 생성에서 뛰어난 능력을 보이지만, **조기 의미적 몰입 (Early Semantic Commitment)**이라는 구조적 한계를 가지고 있습니다.

• 현상: 모호한 입력이 주어졌을 때, LLM 은 충분한 문맥이 확보되기 전에 여러 가지 유효한 해석을 단일 응답으로 축소 (Collapse) 시킵니다.
• 원인:
  • Softmax 정규화: 확률 분포가 1 로 수렴하도록 강제하여 해석들이 공존하지 않고 경쟁하게 만듦.
  • 자기회귀 생성 (Autoregressive Generation): 토큰 생성 단계에서 불가역적으로 단일 선택을 확정함.
  • 학습 목적 함수: 교차 엔트로피 손실 함수가 모호성을 '예측 오류'로 간주하여 해결을 유도함.
• 결과: 대화의 흐름이 발전함에 따라 필수적이 될 수 있는 정보 (모호성, 양가성) 가 조기 손실됩니다.

2. 제안 방법론: NRR-Phi 프레임워크 (Methodology)

이 논문은 비해결 추론 (Non-Resolution Reasoning, NRR) 패러다임을 확장하여, 텍스트를 단일 해석이 아닌 **여러 해석이 공존하는 상태 공간 (State Space)**으로 매핑하는 공식적인 프레임워크인 $\phi: T \to S$를 제안합니다.

2.1. 텍스트 - 상태 매핑 ($\phi$) 의 3 단계 구조

입력 텍스트 $T$를 상태 $S$로 변환하는 과정은 세 단계로 분해됩니다.

1. 갈등 감지 (Conflict Detection, $\psi_{conflict}$):

   • 텍스트 내 모호성이나 대립을 나타내는 언어적 마커를 탐지합니다.
   • 명시적 마커: 'but', 'however' (영어), 'kedo', 'demo' (일본어) 등 대립 접속사.
   • 암시적 마커: 'maybe', 'perhaps', 'I think' 등 회피 표현 (Hedging) 및 인식적 마커.
   • 구조적 마커: 'both X and Y', 'either... or' 등 구조적 모호성.
   • 특징: 규칙 기반 (Rule-based) 접근을 사용하여 다국어 (영어, 일본어) 로 확장 가능합니다.

2. 해석 추출 (Interpretation Extraction, $\psi_{interp}$):

   • 감지된 마커와 텍스트를 기반으로 여러 해석을 추출하는 하이브리드 방식을 사용합니다.
   • 규칙 기반 분할: 갈등 마커가 있는 경우 텍스트를 분할하여 명시적 대립 구조를 추출합니다.
   • LLM 기반 나열: 복잡한 모호성 (인식적, 어휘적, 구조적) 의 경우 LLM 을 프롬프트하여 가능한 모든 해석을 나열하게 합니다.
   • 병합 (Merge): 의미적 유사도 (Sentence-BERT 등) 를 기반으로 중복된 해석을 제거하고 고유한 해석 집합을 구성합니다.

3. 상태 구성 (State Construction, $\psi_{state}$):

   • 추출된 각 해석을 벡터 표현 ($v_i$), 문맥 식별자 ($c_i$), 활성화 가중치 ($w_i$), 메타데이터 ($m_i$) 로 구성된 상태 튜플로 변환합니다.
   • 가중치 조정: 갈등이 감지된 경우, 해당 해석의 가중치를 $\beta$만큼 증폭시켜 정보 밀도가 높음을 반영합니다.
   • 결과: 단일 상태가 아닌, 여러 해석이 가중치와 함께 공존하는 상태 집합 $S = \{(v_i, c_i, w_i, m_i)\}$가 생성됩니다.

2.2. NRR 처리 파이프라인

생성된 상태 $S$는 NRR 의 연산자 (Dampening, Hold, Integration, Persistence 등) 를 통해 처리되며, 최종 출력 시점까지 모호성이 유지됩니다. 출력 시에만 비파괴적 투영 (Non-destructive projection) 을 통해 단일 응답을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 공식적 정의 ($\phi$): 텍스트를 NRR 상태 공간으로 변환하는 알고리즘적 브릿지를 최초로 정의했습니다.
2. 하이브리드 추출 알고리즘: 규칙 기반 (명시적 마커) 과 LLM 기반 (암시적 모호성) 을 결합하여 재현성과 포괄성을 동시에 확보했습니다.
3. 실험적 검증: 68 개의 모호한 문장에 대한 실험을 통해 모호성 유지 능력을 입증했습니다.
4. 크로스-링구얼 확장성: 일본어 마커 ('kedo', 'kamoshirenai' 등) 에 대한 규칙 기반 탐지기를 구현하여 프레임워크의 언어 독립성을 시연했습니다.

4. 실험 결과 (Results)

• 데이터셋: 68 개의 모호한 문장 (대립, 회피, 인식적, 어휘적, 구조적 모호성 카테고리 포함).
• 평가 지표: 상태 엔트로피 ($H$). 단일 해석으로 축소된 경우 $H=0$이며, 여러 해석이 균등하게 공존할수록 $H$가 증가합니다.
• 주요 결과:
  • 규칙 기반 추출: 대립 (Adversative) 과 회피 (Hedging) 카테고리에서 평균 엔트로피 $H \approx 1.0$을 달성했습니다.
  • LLM 기반 추출: 인식적, 어휘적, 구조적 모호성 카테고리에서 $H > 0$을 달성했습니다 (평균 $H \approx 0.97 \sim 1.67$).
  • 하이브리드 방식 (종합): 전체 68 개 문장에 대해 평균 상태 엔트로피 $H = 1.087$ bits를 기록했습니다.
  • 비교: 기존 LLM 기반 축소 (Collapse) 방식은 $H=0$인 반면, 제안된 방식은 모든 카테고리에서 모호성을 성공적으로 유지했습니다.
  • 다국어 및 모델 일관성: 일본어 테스트에서도 규칙 기반 탐지가 효과적이었으며, ChatGPT, Gemini, Claude 등 다양한 LLM 에서 일관된 결과를 보였습니다.

5. 의의 및 결론 (Significance)

• 아키텍처적 전환: "조기 의미적 몰입"은 필수적인 설계가 아니라 선택 사항임을 증명했습니다. LLM 이 모호성을 정보 손실이 아닌 유효한 계산 상태로 유지할 수 있음을 보여줍니다.
• 심리적 지원 등 적용 가능성: 심리 상담과 같이 양가성 (Ambivalence) 을 해결하기보다 수용하고 탐색해야 하는 분야에서, 조기 해결을 강요하지 않는 대화 시스템 구축에 기여할 수 있습니다.
• NRR 프레임워크 완성: 기존 NRR 이론이 상태 공간의 연산자 (Transition Operators) 에만 집중했다면, 본 논문은 **텍스트에서 상태로의 변환 ($\phi$)**이라는 핵심 누락된 구성 요소를 제공함으로써 NRR 파이프라인을 완성했습니다.
• 미래 방향: 추론 단계에서 모호성을 유지하고, 외부 출력이 필요할 때만 선택적으로 축소하는 '지연된 축소 (Collapse Deferment)' 아키텍처의 실현 가능성을 제시했습니다.

요약하자면, NRR-Phi 는 LLM 이 모호한 입력을 단일 정답으로 즉시 축소하는 대신, 여러 가능한 해석을 가중치와 함께 상태 공간에 동시 유지하도록 하는 알고리즘적 프레임워크를 제안하며, 이를 통해 정보 손실을 줄이고 대화의 유연성을 높이는 새로운 추론 패러다임을 제시합니다.