Continuous Interpretive Steering for Scalar Diversity

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 화용론적 추론 (Pragmatic inference) 은 본질적으로 등급적 (graded) 성격을 가집니다. 특히 '스칼라 함축 (Scalar Implicature)'의 경우, 약한 스칼라 용어 (예: 'some/몇몇') 가 강한 대안 (예: 'not all/모두가 아님') 을 부정하는 함축을 유도하는 정도가 단어마다 다릅니다. 이를 스칼라 다양성 (Scalar Diversity) 이라고 합니다.
• 현황: 대규모 언어 모델 (LLM) 의 화용론적 능력을 평가하는 기존 연구들은 주로 프롬프트 조작 (지시어 변경, 예시 추가 등) 에 의존합니다.
• 문제점:
  1. 프롬프트 기반 평가는 표면적 형태에 민감하여 모델의 안정적인 내부 표현을 반영하지 못할 수 있습니다.
  2. 기존 접근법들은 모델을 단순히 '문자적 해석'에서 '화용론적 해석'으로 균일하게 이동시키려는 경향이 있어, 단어별 등급적 차이 (Scalar Diversity) 를 무시하고 모든 항목을 동일하게 처리하여 세부적인 화용론적 민감도를 평가하기 어렵습니다.
• 목표: LLM 이 인간의 화용론적 행동과 유사하게, 개별 단어의 특성에 따라 등급적으로 조절된 해석을 수행하는지, 그리고 그 내부 표현 공간에 이러한 등급적 민감도가 인코딩되어 있는지 탐구하는 것입니다.

2. 방법론 (Methodology)

이 연구는 연속적 해석 유도 (Continuous Interpretive Steering, CIS) 라는 새로운 방법론과 이를 평가하기 위한 GraSD 데이터셋을 제안합니다.

A. GraSD (Graded Scalar Diversity) 데이터셋

• 구성: 스칼라 다양성을 연구한 4 개의 기존 연구 (van Tiel et al., 2016 등) 에서 추출한 121 개의 <약한 용어, 강한 용어> 쌍을 기반으로 구축되었습니다.
• 구조: 각 쌍에 대해 3 가지 변형을 생성합니다.
  1. Anchor (기준): 약한 용어 포함 문장 (예: "Some pets...").
  2. Logical (논리적): 강한 용어로 대체된 문장 (예: "All pets...").
  3. Pragmatic (화용론적): 약한 용어의 함축을 명시한 문장 (예: "Not all pets...").
• 확장: 이론적 제약 조건을 기반으로 GPT-4o 를 활용해 각 쌍당 100 개의 문맥을 생성하여 총 121,000 개의 문장 인스턴스를 확보했습니다.

B. 연속적 해석 유도 (CIS)

• 개념: 추론 시 모델의 내부 활성화 (Activation) 공간에서 유도 방향을 정의하고, 그 강도 (Steering Strength, $\alpha$) 를 연속적인 실험 변수로 조작합니다.
• 구현:
  1. 유도 벡터 ($v$) 정의: 특정 항목의 'Pragmatic' 표현과 'Logical' 표현 간의 차이 벡터를 계산하여 유도 방향을 설정합니다.
  2. 개입 (Intervention): 입력 문장의 은닉 상태 (Hidden state) $h(x)$ 에 대해 $h'(x) = h(x) + \alpha v$ 공식을 적용합니다. 여기서 $\alpha$ 는 유도 강도를 조절하는 스칼라 계수입니다.
  3. 실험 조건:
     • 균일 유도 (Uniform Steering): 모든 항목에 동일한 강도 ($\alpha$) 를 적용.
     • 등급 유도 (Graded Steering): 항목별 스칼라 다양성 등급 (A~E) 에 따라 유도 강도 ($\alpha$) 를 다르게 적용 (강도는 변수, 방향은 고정).

C. 평가 모델 및 지표

• 모델: LLaMA3, Qwen2, Gemma2, OLMo 등 4 개의 오픈 가중치 트랜스포머 모델 사용.
• 지표: 유도된 기준 문장 (Steered Anchor) 의 표현이 'Pragmatic' 변형과 'Logical' 변형 중 어느 쪽과 더 유사한지 코사인 유사도로 측정하여 해석 선호도를 분석합니다.

3. 주요 결과 (Results)

4 개의 LLM 에 대한 실험 결과는 다음과 같은 명확한 차이를 보였습니다.

• 균일 유도 (Uniform Steering) 의 효과:
  • 모든 항목에 대해 전반적으로 화용론적 해석 비율이 크게 증가했습니다.
  • 한계: 항목별 차이를 무시하고 균일하게 해석을 변화시켰습니다. 베이스라인의 항목별 순위 (Item-level ordering) 와 유도 후 순위 간의 상관관계가 통계적으로 유의미하지 않았습니다. 즉, 모델이 단어별 미세한 차이를 구분하지 않고 일괄적으로 반응하게 만들었습니다.
• 등급 유도 (Graded Steering) 의 효과:
  • 유도 강도를 항목별 등급에 맞게 조절했을 때, 항목별 해석 민감도가 보존되었습니다.
  • 베이스라인의 해석 선호도와 유도 후 선호도 간의 스피어만 순위 상관관계 (Spearman rank correlation) 가 통계적으로 유의미하게 높게 나타났습니다.
  • 이는 모델의 내부 표현 공간에 스칼라 다양성 (단어별 함축 강도 차이) 이 이미 인코딩되어 있으며, 강도를 조절하는 방식으로 이를 체계적으로 복원해 낼 수 있음을 의미합니다.

4. 주요 기여 (Key Contributions)

1. 새로운 방법론 (CIS) 제안: 프롬프트 조작이 아닌, 추론 시 내부 활성화 강도를 연속 변수로 조작하여 LLM 의 등급적 화용론적 추론 능력을 정밀하게 탐구하는 프레임워크를 제시했습니다.
2. GraSD 데이터셋 공개: 스칼라 다양성의 등급적 특성을 인코딩한 대규모 데이터셋을 구축하여 공개했습니다.
3. 내부 표현 공간의 발견: LLM 의 표현 공간에 인간의 화용론적 판단과 유사한 등급적 민감도 (Graded sensitivity) 가 존재하며, 이는 통제된 개입을 통해 체계적으로 추출 가능함을 실험적으로 증명했습니다.
4. 평가 패러다임 전환: 단순한 '성공/실패' 이진 평가나 전체적 평균 증가를 넘어, 항목별 변이 (Item-level variation) 를 보존하는지가 진정한 화용론적 능력을 평가하는 핵심 지표임을 강조했습니다.

5. 의의 및 시사점 (Significance)

• LLM 의 인지 구조 이해: LLM 이 단순히 표면적 패턴을 학습한 것이 아니라, 내부 표현 공간에 인간과 유사한 등급적 추론 구조를 가지고 있음을 시사합니다.
• 정밀한 제어 가능성: 모델의 행동을 균일하게 강제하는 것이 아니라, 특정 개념의 강도를 조절하여 미세하게 제어할 수 있음을 보여줍니다.
• 향후 연구 방향: 이 연구는 스칼라 함축에 국한되었으나, 제안된 CIS 프레임워크는 다른 등급적 화용론 현상 (예: 화법, 화용적 뉘앙스 등) 을 분석하는 데에도 적용 가능한 일반적인 도구로 확장될 수 있습니다.

결론적으로, 이 논문은 LLM 의 화용론적 능력을 평가할 때 "얼마나 많이 화용론적 해석을 하는가"보다 "어떤 항목에서 얼마나 민감하게 반응하는가"를 분석하는 것이 중요하며, 이를 위해 내부 활성화 강도를 연속적으로 조절하는 CIS 방법론이 유효함을 입증했습니다.