ObfusQAte: A Proposed Framework to Evaluate LLM Robustness on Obfuscated Factual Question Answering

이 논문은 LLM 의 사실적 질문 응답 능력에 대한 견고성을 평가하기 위해 이름 개체, 주석, 그리고 문맥 과부하라는 세 가지 차원의 다단계 은닉 기법을 적용한 새로운 프레임워크 'ObfusQA'와 이를 구현하는 'ObfusQAte'를 제안하며, LLM 이 은닉된 질문을 마주할 때 실패하거나 환각을 생성하는 경향이 있음을 발견했다고 요약할 수 있습니다.

핵심

🕵️‍♂️ 핵심 아이디어: "변장한 질문"을 던지다

지금까지 AI 를 평가할 때는 "누가 전화를 발명했나요?"처럼 아주 직관적이고 쉬운 질문을 던졌습니다. AI 는 이 질문에 "알렉산더 그레이엄 벨"이라고 정확히 답합니다. 하지만 이는 AI 가 진짜로 이해해서 답한 걸까요? 아니면 그냥 "전화 = 벨"이라는 공식을 암기해서 답한 걸까요?

이 연구는 **"ObfusQAte(오브푸스케이트)"**라는 새로운 장비를 개발했습니다. 이 장비는 AI 에게 질문을 변장시켜서 다시 물어봅니다. 마치 면접관이 지원자에게 아주 쉬운 질문을 하되, 매우 우회적이고 헷갈리게 표현해서 진짜 실력을 테스트하는 것과 같습니다.

🎭 세 가지 변장 전략 (난이도 조절)

연구진은 질문을 변장하는 세 가지 방법을 만들었습니다.

1. 직접적인 이름 대신 설명하기 (Named-Entity Indirection)

   • 원래 질문: "전화기를 발명한 사람은?"
   • 변장된 질문: "오랜 거리에서도 소리를 들을 수 있게 해준 천재는 누구일까요?"
   • 비유: 친구의 이름을 직접 부르지 않고, "우리 반에서 키가 가장 크고 안경을 쓴 친구"라고 묘사하는 것과 같습니다. AI 는 '전화기'라는 단어 대신 '오랜 거리 소리'라는 개념을 연결해 추론해야 합니다.

2. 헷갈리는 오답을 끼워 넣기 (Distractor Indirection)

   • 원래 질문: "전화기 발명자는?"
   • 변장된 질문: "1876 년에 전기를 이용한 통신을 개척한 천재는 누구일까요? (토머스 에디슨이나 니콜라 테슬라 같은 경쟁자들이 있었지만...)"
   • 비유: 정답을 고르는 시험 문제인데, 옆에 "에디슨", "테슬라"처럼 정답과 매우 비슷해 보이지만 틀린 오답들을 화려하게 장식해 놓은 것입니다. AI 는 이 미끼를 보고 넘어가지 않고 진짜 정답을 골라야 합니다.

3. 정보로 뒤덮어 숨기기 (Contextual Overload)

   • 원래 질문: "호주의 수도는?"
   • 변장된 질문: "오스트레일리아의 거대한 대륙, 에뮤 전쟁의 소동, 파블로바의 기원 논란, 그리고 제너럴 총독의 관저가 있는 곳... 이 모든 이야기 속에서 수도는 어디일까요?"
   • 비유: 정답을 찾는 길 위에 불필요하지만 사실인 정보로 산더미처럼 장애물을 쌓아놓는 것입니다. AI 는 이 '소음' 속에서 진짜 핵심 질문을 찾아내야 합니다.

📉 실험 결과: AI 의 '가짜 지식'이 드러나다

이론적으로 아주 똑똑해 보이는 최신 AI 들 (GPT-4o, Claude, LLaMA 등) 에게 이 변장된 질문들을 던져봤습니다. 결과는 충격적이었습니다.

• 쉬운 질문: AI 들은 거의 100% 정답을 맞췄습니다.
• 변장된 질문: 정답률이 50% 이상 급락했습니다.
  • 특히 '오답을 끼워 넣기'나 '정보로 뒤덮기' 방식에서는 AI 가 완전히 혼란에 빠지거나, 아예 없는 사실을 지어내는 (할루시네이션) 현상이 발생했습니다.

왜 이런 일이 일어났을까요?
AI 는 질문의 핵심 의미를 이해하기보다, 훈련 데이터에서 **"이런 단어가 나오면 저런 답이 나와"**라는 패턴을 암기하고 있었습니다. 질문이 변장되면 그 패턴이 깨지기 때문에 AI 는 당황하고 엉뚱한 답을 내놓은 것입니다.

🔍 AI 의 속을 들여다보기 (내부 분석)

연구진은 AI 가 왜 실패하는지 내부적으로도 분석했습니다.

• 자신감 하락: 질문이 변장되면 AI 는 "내가 이걸 정말 알까?"라고 스스로 의심하게 됩니다. (내부 확률 점수 하락)
• 기억력 부족: 변장된 질문은 AI 가 훈련할 때 본 적 없는 새로운 형태라, AI 는 이를 '새로운 정보'로 인식해 기억해내지 못했습니다.
• 이해의 부재: AI 는 복잡한 문장을 처리할 때, 중요한 정보를 먼저 파악하지 못하고 너무 일찍 결론을 내려버리는 경향이 있었습니다.

💡 결론: 진짜 지능을 위한 새로운 길

이 연구는 **"AI 가 정말로 세상을 이해하고 있는가?"**에 대한 중요한 질문을 던집니다.

지금까지의 AI 는 위대한 암기왕일 뿐, 진짜 추론 능력은 부족할 수 있다는 것을 보여줍니다. 이 연구에서 만든 **'ObfusQA(오브푸스퀘이)'**라는 데이터셋은 앞으로 AI 가 더 똑똑하고, 속임수에 넘어가지 않으며, 인간처럼 유연하게 생각하는지 평가하는 새로운 기준이 될 것입니다.

한 줄 요약:

"AI 가 질문을 변장하면 당황해서 엉뚱한 답을 내놓습니다. 이는 AI 가 아직 '이해'보다는 '암기'에 의존하고 있음을 증명하며, 더 튼튼한 AI 를 만들기 위해선 이런 변장된 질문에도 꿋꿋하게 답할 수 있어야 합니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 사실 기반 질문 응답 (QA) 분야에서 뛰어난 성능을 보이지만, 사실적 환각 (Factual Hallucination) 문제와 강건성 (Robustness) 부족이라는 한계를 가지고 있습니다. 기존 연구들은 LLM 의 사실성 (Factuality) 을 평가하지만, 질문이 의미적으로 왜곡되거나 은폐된 (Obfuscated) 형태일 때 모델이 어떻게 반응하는지에 대한 체계적인 연구는 부재했습니다.

• 핵심 문제: LLM 이 직관적이고 명확한 질문에는 정답을 잘 내놓지만, 질문의 표현을 복잡하게 바꾸거나 (예: 간접적 지시, 오해의 소지가 있는 정보 추가, 맥락 과부하 등) 의도적으로 난이도를 높인 경우, 모델이 논리적 추론을 실패하거나 잘못된 정보를 생성하는지 여부가 불명확합니다.
• 목표: 이러한 격차를 해소하기 위해, 질문의 의미는 유지하되 표현을 복잡하게 변형하여 LLM 의 추론 능력과 사실성 유지 능력을 평가하는 새로운 프레임워크를 제안합니다.

2. 제안된 방법론: ObfusQAte 및 ObfusQA (Methodology)

저자들은 ObfusQAte라는 새로운 기법을 개발하고, 이를 기반으로 ObfusQA라는 데이터셋을 구축했습니다. 이 프레임워크는 질문을 세 가지 차원의 다단계 은폐 (Multi-tiered Obfuscation) 수준으로 변형합니다.

A. 은폐의 세 가지 차원 (Three Dimensions of Obfuscation)

1. 명사 개체 간접화 (Named-Entity Indirection, NEI):
   • 방식: 질문의 핵심 명사 (인물, 장소 등) 를 직접 언급하지 않고, 추상적인 설명, 동의어, 또는 간접적인 관계 (예: "전화기를 발명한 사람" 대신 "장거리에서 가청 대화를 가능하게 한 천재") 로 대체합니다.
   • 목적: 모델이 단순한 사실 암기가 아닌, 추상적 개념과 실제 개체 간의 논리적 연결을 통해 답을 도출하도록 요구합니다.
2. 주의 산만 유도 (Distractor Indirection, DI):
   • 방식: 정답과 유사하지만 오답인 plausible 한 대안 (예: 발명가 질문 시 에디슨, 테슬라 등을 함께 언급) 을 포함시켜 모델을 잘못된 선택지로 유도합니다.
   • 목적: 모델이 관련 정보 속에서 정답을 선별하고, 오답을 배제하는 능력을 평가합니다.
3. 맥락 과부하 (Contextual Overload, CO):
   • 방식: 질문의 핵심을 가리기 위해 정답과 직접적 연관이 없는 사실 (Red Herring) 이나 과도한 배경 정보를 대량으로 주입합니다.
   • 목적: 모델이 불필요한 정보 (Noise) 를 걸러내고 핵심 질문을 파악하는 인지적 부하 (Cognitive Load) 처리 능력을 평가합니다.

B. 데이터셋 구축 (ObfusQA Dataset)

• 기반 데이터: TriviaQA 와 GKToday 에서 사실적 질문을 추출.
• 생성 과정: Gemini 2.0 Flash 를 사용하여 ObfusQAte 알고리즘으로 질문을 변형.
• 검증: 7 명의 인간 어노테이터가 생성된 질문을 검토하여 **사실적 일관성 (Ground Truth Preservation)**과 **의미적 충실도 (Semantic Faithfulness)**를 보장했습니다. (Cohen's Kappa = 0.862 로 높은 일치도 확인).
• 규모: 총 1,024 개의 질문 (기본 질문 1 개 + 3 가지 변형 버전). 변형될수록 토큰 길이가 급격히 증가 (기본: 11.6 토큰 → CO: 116.1 토큰).

3. 주요 기여 (Key Contributions)

1. ObfusQAte 프레임워크: LLM 의 사실적 QA 능력에 대한 은폐된 질문의 영향을 체계적으로 평가할 수 있는 최초의 포괄적인 프레임워크 제안.
2. ObfusQA 데이터셋: NEI, DI, CO 세 가지 은폐 유형을 포함한 공개 데이터셋 (Hugging Face 에 공개).
3. 내부 메커니즘 분석: 은폐가 LLM 의 내부 표현 (Internal Representation) 에 미치는 영향을 분석하기 위해 토큰 신뢰도 (P(IK)), 기억화 (Memorization, MIA), 레이어별 노름 감소 (Layer-wise Norm Drop) 분석을 수행.

4. 실험 결과 및 분석 (Results & Analysis)

A. 모델 성능 평가

• 평가 대상: GPT-4o, GPT-4o mini, LLaMA 3.3 70B, Claude 3.5 Sonnet, Gemini 2.0 Flash, DeepSeek R1, GPT o3-mini 등 7 개의 최신 LLM.
• 평가 지표: Exact Match (EM) 정확도.
• 주요 결과:
  • 모든 모델이 **기본 질문 (Base)**에서는 높은 성능을 보였으나, **은폐된 질문 (Obfuscated)**에서는 성능이 급격히 저하됨.
  • 성능 저하율: GPT-4o 는 약 56%, Claude 3.5 는 49%, LLaMA 3.3 은 44% 하락.
  • 가장 취약한 유형: DI(주의 산만) 와 CO(맥락 과부하) 유형에서 가장 큰 성능 저하가 발생.
  • 프롬프트 전략: Chain-of-Thought (CoT) 프롬밍이 Few-shot 또는 Zero-shot 보다 평균 8-12% 더 높은 정확도를 보이며, 복잡한 은폐 질문에 대한 추론 능력을 일부 보완함.

B. 내재적 분석 (Intrinsic Analysis)

• 내재적 신뢰도 (Intrinsic Confidence): 은폐가 심해질수록 모델이 "내가 안다 (I know)"라고 스스로 확신하는 확률 (P(IK)) 이 크게 감소 (CO 유형에서 최대 51% 감소). 이는 모델이 자신의 답변에 대한 확신을 잃음을 시사.
• 기억화 (Memorization): Membership Inference Attack (MIA) 결과, 은폐된 질문은 학습 데이터와의 통계적 일치도가 낮아짐. 이는 모델이 단순 암기가 아닌 새로운 추론을 요구받았음을 의미.
• 레이어별 노름 감소 (Layer-wise Norm Drop): 은폐된 입력은 기본 질문보다 더 일찍 (약 2 레이어 앞당겨) 의미 압축 (Semantic Compression) 이 발생함. 이는 모델이 핵심 정보를 충분히 처리하기 전에 추상화를 시도하여 추론 체인이 불완전해짐을 의미.

5. 의의 및 결론 (Significance & Conclusion)

• LLM 의 취약점 규명: 현재 LLM 들이 복잡한 언어 구조나 간접적 표현 앞에서는 사실적 정확도를 유지하기 어렵고, 단순한 패턴 매칭이나 암기에 의존할 가능성이 높음을 증명.
• 새로운 평가 기준 제시: 기존 QA 평가가 놓치고 있던 '의미적 은폐'에 대한 강건성 테스트를 표준화하여, 더 신뢰할 수 있는 AI 시스템 개발의 기초를 마련.
• 향후 연구 방향: 다국어 데이터 확장, 수학적 추론 및 번역 작업 등 다양한 영역으로의 적용, 그리고 은폐된 입력에 대한 모델의 적응 능력 향상을 위한 파인튜닝 및 정렬 (Alignment) 연구의 필요성 제기.

이 논문은 LLM 이 단순히 "무엇을 아는가"를 넘어, "복잡하고 왜곡된 정보 속에서 무엇을 추론할 수 있는가"를 평가하는 새로운 패러다임을 제시한다는 점에서 의의가 큽니다.