기술 요약: FFE-HALLU

문제 정의

대규모 언어 모델(LLM)은 다양한 자연어 처리(NLP) 작업에서 놀라운 성공을 보여주었으나, 관용구(idioms)나 속담(proverbs)과 같은 **고정 관용 표현(Fixed Figurative Expressions, FFEs)**과 같은 비유적 언어에서는 여전히 어려움을 겪고 있다. 직설적인 문구와 달리, FFEs는 문화적으로 뿌리를 두고 있으며, 대체로 비구성적(non-compositional)이고 관습적으로 고정되어 있다. 본 논문은 **비유적 환각(figurative hallucination)**이라 명명된 구체적이고 미개척된 실패 모드를 식별한다. 이는 실제로는 존재하지 않지만, 대상 언어에서 관용구처럼 들리고 그럴듯해 보이는 표현을 생성하거나 지지하는 현상을 의미한다.

사실적 환각(factual hallucinations)은 외부 지식 소스를 통해 검증할 수 있는 경우가 많지만, 비유적 환각은 "환상적 진실 효과(illusby truth effect)" 때문에 더 교활하다. 즉, 익숙한 구조가 실제로는 존재하지 않더라도 숙련된 독자조차도 이를 사실로 인지하게 만든다. 이는 기계 번역 및 대화 시스템과 같이 문화적 역량이 요구되는 애플리케이션에서 상당한 위험을 초래하며, 특히 가공된 표현을 실제적인 것으로 받아들일 수 있는 비원어민 사용자들에게 위험하다.

방법론

이러한 격차를 해소하기 위해, 저자들은 LLM의 비유적 환각을 평가하기 위해 설계된 최초의 포괄적인 벤치마크인 FFE-HALLU를 도입하며, 특히 페르시아어에 초점을 맞춘다. 이 벤치마크는 세 가지 상호 보완적인 작업으로 나뉘는 600개의 큐레이션된 인스턴스로 구성된다:

1. 의미로부터의 FFE 생성 (FFE Generation from Meaning):

   • 목표: 모델이 비유적 정의가 주어졌을 때 유효한 관용구나 속담을 인출할 수 있는지 테스트한다.
   • 데이터: Abadis 사전와 GPT-4o의 패러래이징(paraphrase)을 통해 수집된 200개의 실제 페르시아어 관용구/속담 및 그 정의.
   • 평가: 출력값은 정확함(Correct) (의미가 일치하는 실제 FFE), 부정확함(Incorrect) (의미가 일치하지 않는 실제 FFE), 또는 환각됨(Hallucinated) (직설적 문구 또는 존재하지 않는 표현)으로 분류된다.

2. 가짜 FFE 탐지 (Fake FFE Detection):

   • 목표: 실제 표현과 그럴듯하게 조작된 가짜 표현을 구별하는 모델의 능력을 평가한다.
   • 데이터: 네 가지 통제된 전략을 사용하여 제작된 200개의 가짜 FFE:
     • 단어 변형(Word Perturbation): 실제 관용구의 핵심 어휘를 교체.
     • 의미 반전(Semantic Inversion): 실제 구조의 의미를 역전시키거나 왜곡.
     • 구조적/통사적 모방(Structural/Syntactic Mimicry): 실제 어휘를 사용하지 않고 일반적인 속담 템플릿을 따라 새로운 표현 생성.
     • 문화적/역사적 조작(Cultural/Historical Fabrication): 설득력 있지만 유효하지 않은 표현을 만들기 위해 문화적으로 두드러진 요소(예: 역사적 인물, 의례) 사용.
   • 평가: 모델에게 "이 FFE는 가짜인가?" 및 "이 FFE는 진짜인가?"라고 질문하여 일관성과 환각률(오탐지율)을 측정한다.

3. FFE-to-FFE 번역 (영어 → 페르시아어):

   • 목표: 직설적 번역이나 발명에 의존하지 않고 관용적 의미의 교차 언어적 전이를 평가한다.
   • 데이터: 검증된 대응 쌍을 가진 200개의 이중 언어 영어-페르시아어 쌍.
   • 평가: 출력값은 정확함(Correct) (문화적으로 동등한 FFE), 부정확함(Incorrect) (의미가 틀린 기존 FFE), 또는 환각됨(Hallucinated) (직설적 번역 또는 발명된 표현)으로 분류된다.

실험 설정:
저자들은 6개의 최첨단 다국어 LLM(GPT-4.1, Claude 3.7 Sonnet, Gemma3-27B, DeepSeek-V3, DeepSeek-R1, Qwen3-235B)을 평가했다. 평가는 원어민에 의한 **인간 주석(human annotation)**과 비유적 작업에 대한 자동 메트릭의 신뢰성을 평가하기 위한 LLM-as-a-judge(GPT-4.1 및 Gemini 2.5 Pro)를 이용한 자동 평가를 모두 포함했다.

주요 결과

• 모델 성능 편차: GPT-4.1은 모든 작업에서 가장 견고한 성능을 보였으며, 생성(60.5%)과 번역(65%)에서 가장 높은 정확도를 달성하고 가장 낮은 환각률을 기록했다. Claude 3.7 Sonnet은 강력한 생성 능력을 보였으나, 가짜 FFE를 탐지하는 데 있어 심각한 어려움(61.75%의 환각률)을 겪었다.
• 오픈 웨이트 모델의 약점: DeepSeek-V3, Gemma3-27B, Qwen3-235B와 같은 모델들은 심각한 약점을 드러냈다. 예를 들어, Qwen3-235B는 생성 작업의 거의 70%, 번역 작업의 94%에서 환각을 일으켰으며, 종종 비문이거나 완전히 조작된 표현을 생성했다.
• 탐지 불안정성: 가짜 FFE 탐지 작업에서의 성능은 프롬프트 프레이밍에 매우 민동적이었다. 대부분의 모델은 "이것이 진짜인가?"라고 물었을 때는 잘 수행했지만, "이것이 가짜인가?"라고 물었을 때는 정확도가 급격히 떨어졌는데, 이는 조작된 내용을 거부하는 데 있어 불안정성을 나타낸다.
• 자동 평가의 한계: 연구 결과, LLM-as-a-judge 방식의 자동 평가는 비유적 환각에 대해 까다롭다는 것이 밝혀졌다. Gemini 2.5 Pro는 GPT-4.1보다 인간의 판단과 더 높은 일치도(높은 Cohen's κ)를 보였으며, 특히 환각된 FFE와 단순히 틀린 FFE를 구분하는 데 뛰어났다. 그러나 자동 판독기는 환각률이 높아짐에 따라 어려움을 겪었으며, 존재하지 않는 표현을 단순히 "틀린" 실제 표현으로 오분류하는 경향이 있었다.

의의 및 기여

본 논문은 네 가지 주요 기여를 한다:

1. FFE-HALLU 도입: 페르시아어의 고정 관용 표현에 초점을 맞추어 LLM의 비유적 환각을 평가하기 위해 특별히 설계된 최초의 벤치마크이다.
2. 태스크 프레임워크: 비유적 역량과 문화적 근거의 서로 다른 측면을 조사하는 세 가지 상호 보완적인 작업(생성, 탐지, 번역)을 제안한다.
3. 경험적 분석: 6개의 SOTA 다국어 LLM을 상세히 평가하여, 특히 오픈 웨이트 모델에서 나타나는 비유적 생성, 탐지 및 교차 언어 전이의 체계적인 약점을 밝혀냈다.
4. 평가 타당성: 비유적 환각에 대한 LLM-as-a-judge 방법의 신뢰성을 평가하여, 문화적으로 미묘한 작업에는 전문가의 인간 주석이 필수적임을 강조한다.

저자들은 비유적 언어를 마스터하는 것은 다국어 유창성 그 이상을 요구하며, 진정한 문화적 이해를 필요로 한다고 결론짓는다. 연구 결과는 현재의 모델들이 사용자들을 오도할 수 있는 문화적으로 유효하지 않은 표현을 빈번하게 생성하거나 지지하기 때문에, 비유적 환각을 평가하고 완화하기 위한 표적 벤치마크가 필요함을 강조한다.

한계점

저자들은 비유적 환각을 탐지하는 것이 원어민의 직관과 판단에 크게 의존하기 때문에, 이 벤치마크가 페르시아어로 제한되었다는 점을 인정한다. 또한, 관용구를 대규모로 큐레이션하고 검증하는 것의 어려움으로 인해 데이터셋 규모(600개 항목)가 크지 않다. 논문은 자동 판독이 확장성을 제공하지만 여전히 불완전하며, 특히 문화적으로 미묘한 경우 전문가의 인간 주석을 대체해서는 안 된다고 언급한다.