Augmenting Lateral Thinking in Language Models with Humor and Riddle Data for the BRAINTEASER Task

논문 요약: 유머와 수수께끼 데이터를 활용한 언어 모델의 수평적 사고 (Lateral Thinking) 증강

1. 문제 정의 (Problem)

• 배경: 자연어 처리 (NLP) 분야에서 언어 모델은 주로 논리적, 단계별 추론 (수직적 사고, Vertical Thinking) 을 잘 수행하지만, 비선형적이고 창의적인 추론인 **수평적 사고 (Lateral Thinking)**는 상대적으로 덜 연구되어 왔습니다.
• 과제: SemEval 2024 BRAINTEASER 태스크는 기존 상식적 연관성을 깨고 비직관적인 해석을 요구하는 두 가지 하위 태스크로 구성됩니다.
  1. 문장 퍼즐 (Sentence Puzzle): 문장 수준의 의미를 재해석해야 하는 문제 (예: "남자가 매일 면도하지만 수염은 길게 기른다" -> 이 남자는 미용사이다).
  2. 단어 퍼즐 (Word Puzzle): 단어의 철자 (Orthographic) 또는 발음 (Phonetic) 속성에 대한 추론이 필요한 문제 (예: "런던의 어떤 부분이 프랑스에 있는가?" -> 'N'이라는 글자).
• 목표: 언어 모델이 상식적 고정관념을 탈피하여 창의적인 답을 도출하는 능력을 평가하고 향상시키는 것.

2. 방법론 (Methodology)

저자들은 HuggingFace 의 AutoModelForMultipleChoice 아키텍처를 기반으로 한 DeBERTaV3 모델을 미세 조정 (Fine-tuning) 하였습니다. 주요 방법론적 특징은 다음과 같습니다.

• 데이터 증강 (Data Augmentation):
  • 제공된 훈련 데이터 외에 수평적 사고와 구조적 유사성을 가진 두 가지 추가 데이터 소스를 도입했습니다.
    1. 유머/농담 데이터 (Humor Data): GPT-4 프롬프팅을 통해 생성된 유머 스타일의 질문 - 답변 데이터. 유머의 '반전 (Punchline)' 구조가 퍼즐의 비직관적 해석과 유사합니다.
    2. RiddleSense 데이터: 기존에 존재하는 수수께끼 (Riddle) 데이터셋.
  • 동기: 유머와 수수께끼는 모두 익숙한 개념을 예상치 못한 방식으로 재해석해야 하므로, BRAINTEASER 태스크의 핵심 요구사항과 구조적으로 일치합니다.
• 모델 아키텍처 비교:
  • Sequence Classification (AMSC): 문장을 입력받아 클래스를 분류하는 방식.
  • Multiple Choice QA (AMMC): 여러 선택지 중 정답을 고르는 방식.
  • 실험을 통해 Multiple Choice 아키텍처가 이 태스크에 훨씬 더 적합함을 확인했습니다.
• 데이터 처리:
  • 문장 퍼즐과 단어 퍼즐 훈련 데이터를 혼합하여 다양한 유형의 수평적 사고에 노출시켰습니다.
  • RiddleSense 데이터셋의 5 개 라벨을 태스크의 4 개 선택지 형식에 맞게 재조정 (5 번째 정답을 4 번째 선택지로 매핑) 했습니다.

3. 주요 기여 (Key Contributions)

1. 아키텍처 설계의 중요성 증명: 동일한 베이스 모델 (BERT) 을 사용하더라도, Multiple Choice 아키텍처가 Sequence Classification 보다 정확도가 10%p 이상 높게 나타났습니다. 이는 태스크에 맞는 아키텍처 설계가 강력한 사전 학습 표현력만큼이나 중요함을 보여줍니다.
2. 데이터 증강의 효과 입증: GPT-4 가 생성한 유머 데이터와 RiddleSense 데이터를 훈련 데이터에 추가함으로써 **문장 퍼즐 (Sentence Puzzle)**의 성능을 크게 향상시켰습니다 (최종 정확도 92.5%).
3. 수평적 사고의 이질성 분석: 데이터 증강이 문장 수준의 추론에는 효과적이었으나, **단어 수준 (Word Puzzle)**의 추론에는 효과가 없거나 오히려 성능을 저하시켰습니다. 이는 문장 수준의 의미 재해석과 단어 수준의 철자/발음 조작은 서로 다른 데이터 특성을 요구함을 시사합니다.

4. 실험 결과 (Results)

• 성능:
  • Sentence Puzzle: 전체 정확도 92.5% (참가 팀 31 개 중 6 위).
  • Word Puzzle: 전체 정확도 80.2% (참가 팀 23 개 중 10 위).
  • 베이스라인인 Zero-shot ChatGPT 대비 약 40~50%p 높은 성능을 기록했습니다.
• 성능 향상 요인 (Ablation Study):
  • BERT → DeBERTaV3 변경: +28.3%p
  • Sequence Classification → Multiple Choice 변경: +9.2%p
  • 유머 및 RiddleSense 데이터 추가: +4.2%p (문장 퍼즐 기준)
• 오류 분석:
  • 인스턴스 기반 vs 그룹 기반 정확도: 원본 질문에는 정답률이 높았으나, 의미나 문맥이 재구성된 대조적 (Adversarial) 변형 질문에서는 정확도가 하락했습니다. 이는 모델의 추론이 표면적 패턴에 의존하고 있어 완전한 견고성 (Robustness) 이 부족함을 의미합니다.
  • 문장 vs 단어 퍼즐 격차: 단어 퍼즐은 철자/발음 처리가 필요하므로, 의미 중심의 증강 데이터 (유머/수수께끼) 가 도움이 되지 않았습니다.

5. 의의 및 결론 (Significance)

• 창의적 추론의 새로운 지평: NLP 에서 간과되었던 수평적 사고를 체계적으로 다루기 위한 유효한 방법론 (데이터 증강 및 아키텍처 선택) 을 제시했습니다.
• 데이터의 맥락적 적합성: 모든 데이터 증강이 만능이 아니며, 태스크의 추론 유형 (의미론적 vs 철자/음운론적) 에 따라 증강 전략을 차별화해야 함을 강조했습니다.
• 향후 과제: 단어 퍼즐 성능 향상을 위한 문자 단위 (Character-level) 표현 학습, 더 높은 품질의 합성 데이터 생성, 그리고 의미론적/철자적 추론을 결합한 앙상블 방법론 등의 연구가 필요함을 제안합니다.

이 논문은 언어 모델이 단순한 논리 추론을 넘어, 인간의 창의적이고 비선형적인 사고 방식을 모방하기 위해서는 적절한 아키텍처와 **구조적으로 유사한 도메인 데이터 (유머/수수께끼)**의 전략적 결합이 필수적임을 입증했습니다.