Estimating Commonsense Plausibility through Semantic Shifts

논문 개요: ComPaSS

이 논문은 대규모 언어 모델 (LLM) 의 출력에서 상식적 타당성 (Commonsense Plausibility) 을 평가하는 새로운 프레임워크인 ComPaSS를 제안합니다. 기존의 생성 기반 접근법 (Likelihood 기반 또는 언어적 판단 기반) 이 미세한 차이를 구별하는 데 한계가 있음을 지적하고, **의미적 변화 (Semantic Shift)**를 측정하는 판별적 (Discriminative) 접근법을 통해 상식적 타당성을 정량화합니다.

1. 문제 정의 (Problem)

• 배경: 상식 지식은 자연어 이해와 생성의 기초이지만, LLM 이 생성한 텍스트가 상식적으로 타당한지 평가하는 것은 여전히 어려운 과제입니다.
• 기존 방법의 한계:
  • Likelihood 기반: 토큰 예측 확률을 타당성 지표로 사용하지만, 상식적 세부 사항이 생략된 문장 (예: "펭귄은 검다"는 명시적으로 언급되지 않음) 에 대해 편향될 수 있습니다.
  • Verbalization 기반 (언어적 판단): 모델에게 자연어로 타당성을 질문하는 방식입니다. 이는 미세한 차이를 구별하는 데 비효율적이며, 생성 모델의 특성을 오용할 수 있습니다.
• 핵심 문제: 상식적 타당성 평가는 본질적으로 판별적 (Discriminative) 작업임에도 불구하고, 기존 연구들은 주로 생성적 관점에 의존하여 정밀한 구별이 어렵습니다.

2. 방법론 (Methodology: ComPaSS)

ComPaSS 는 문장에 상식 관련 정보를 추가했을 때 발생하는 **의미적 변화 (Semantic Shift)**의 크기를 측정하여 타당성을 판단합니다.

• 핵심 원리:
  • 타당한 (Plausible) 추가: 문맥에 자연스럽게 통합되어 의미적 변화가 최소화됩니다. (예: "펭귄이 있다" + "검은" → 의미 변화 작음)
  • 비타당한 (Implausible) 추가: 문맥과 충돌하여 의미적 편차가 큽니다. (예: "펭귄이 있다" + "초록색" → 의미 변화 큼)
• 작동 과정:
  1. 문장 구성 (Sentence Construction):
     • Anchor Sentence: 상식적 세부 사항을 생략한 기본 문장 (예: "There is a penguin").
     • Candidate Sentence: 평가할 상식 정보를 포함한 문장 (예: "There is a black penguin").
     • 입력 형식 (구조화된 트리플릿 또는 자유형 질문) 에 따라 템플릿 또는 GPT-4 를 활용해 문장을 생성합니다.
  2. 임베딩 인코딩 (Representation):
     • 두 문장을 사전 훈련된 모델 (LM 또는 VLM) 을 통해 인코딩하여 밀집된 의미 표현 (Embedding) 을 얻습니다.
     • 인코더 모델 (RoBERTa 등) 은 [CLS] 토큰을, 디코더 모델은 마지막 토큰 또는 프롬프트 기반 토큰을 사용합니다.
  3. 의미적 유사도 측정 및 순위 결정:
     • Anchor 와 Candidate 의 임베딩 간 유사도 (Cosine Similarity 등) 를 계산합니다.
     • 유사도가 높을수록 (의미적 변화가 작을수록) 타당성이 높음으로 간주하여 후보들을 순위 매깁니다.
• 모델 백본:
  • LM (Language Models): RoBERTa, Mistral, Qwen2 등.
  • VLM (Vision-Language Models): CLIP, EVA-CLIP 등 (시각 정보를 통해 텍스트 편향을 보완).
  • Contrastive Learning: 대비 학습 (Contrastive Pre-training) 을 거친 모델은 의미적 뉘앙스를 더 잘 포착하여 ComPaSS 성능을 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. 새로운 패러다임 제안: 상식적 타당성 평가를 생성적 접근에서 의미적 변화를 측정하는 판별적 접근으로 전환했습니다.
2. 범용성: 구조화된 트리플릿 (속성 값 순위) 과 자유형 텍스트 (프레임 완성) 등 다양한 입력 형식과 모델 아키텍처 (LM, VLM) 에 적용 가능합니다.
3. 시각적 근거의 중요성 입증: 시각 - 언어 모델 (VLM) 이 텍스트 기반 모델보다 시각적 상식 (색상, 모양 등) 평가에서 우월한 성능을 보임을 확인했습니다. 이는 텍스트 데이터의 보고 편향 (Reporting Bias) 을 시각 정보가 보완함을 의미합니다.
4. 대비 학습의 효과: 사전 훈련 단계에서 Contrastive Learning 을 적용한 모델이 의미적 뉘앙스를 더 잘 구별하여 ComPaSS 의 정확도를 크게 높인다는 것을 증명했습니다.

4. 실험 결과 (Results)

• 데이터셋:
  • CoDa & ViComTe: 객체의 속성 (색상, 모양, 재질) 값 순위 평가 (구조화된 입력).
  • CFC (Commonsense Frame Completion): 개방형 질문에 대한 타당한 답변 순위 평가 (자유형 입력).
• 성능 비교:
  • ComPaSS 는 기존 베이스라인 (Likelihood 기반, Verbalization 기반, COMET, VERA 등) 을 일관되게 능가했습니다.
  • 특히 VLM 기반 ComPaSS는 시각적 속성 평가에서 7B 파라미터 규모의 LLM 보다 월등히 높은 성능을 기록했습니다.
  • Closed-source 모델 비교: GPT-4 보다 ComPaSS 를 적용한 오픈소스 모델 (EVA-CLIP, Mistral 등) 이 여러 태스크에서 더 높은 정확도를 보였습니다.
• 세부 분석:
  • 단일 속성 vs 복합 속성: VLM 은 '단일 주된 속성' (예: 눈의 흰색) 이 명확한 경우 텍스트 편향을 극복하고 우수한 성능을 발휘했습니다.
  • 컨텍스트 형식: 단어 수준의 비교보다 완전한 문장 구성이 의미적 변화 측정에 더 효과적이었습니다.
  • Case Study: "검은 양 (Black Sheep)"의 경우, LLM 은 관용구 영향으로 검은 양이 많다고 잘못 판단했으나, ComPaSS 는 의미적 유사도 측정을 통해 실제 색상 분포 (흰색/회색 등) 를 더 정확하게 추정했습니다.

5. 의의 및 결론 (Significance)

• 효율성: 생성 모델 (Decoder-only) 에 비해 파라미터가 적은 인코더 모델 (Encoder-only) 이 ComPaSS 와 결합될 때 상식 평가에서 동등하거나 더 나은 성능을 보여, 파라미터 효율적인 접근법의 가능성을 제시합니다.
• 편향 해결: 텍스트 데이터의 보고 편향 (Reporting Bias) 을 시각 정보를 통해 보완함으로써, 더 정확한 상식 추론이 가능해짐을 입증했습니다.
• 미래 방향: 절대적인 점수 부여보다는 상대적 순위 평가에 강점이 있으며, 향후 보정 (Calibration) 기술을 통해 절대적 판단 능력을 확장할 수 있습니다.

결론적으로, ComPaSS 는 사전 훈련된 모델의 의미적 임베딩을 활용하여 미세한 상식적 차이를 포착하는 강력한 프레임워크이며, 특히 시각 정보를 통합한 판별적 접근이 상식 평가의 새로운 표준이 될 수 있음을 시사합니다.