Query Disambiguation via Answer-Free Context: Doubling Performance on Humanity's Last Exam

이 논문은 답변이 없는 컨텍스트를 활용해 질문을 재작성하여 모호성을 줄이는 방식이 Humanity's Last Exam 벤치마크에서 gpt-5-mini 의 정확도를 0.14 에서 0.37 로 두 배 이상 향상시킨다는 것을 보여줍니다.

핵심

🍳 비유: "요리사에게 재료를 주면, 레시피도 같이 알려줘야 한다"

상상해 보세요. 훌륭한 요리사 (AI 모델) 가 있습니다. 하지만 손님이 "이거 만들어 줘"라고만 말하고, 어떤 재료를 썼는지, 어떤 맛을 원하는지 설명을 안 해줍니다. 요리사는 자신의 경험 (학습 데이터) 을 바탕으로 "아, 아마도 김치찌개겠지?"라고 추측해서 김치찌개를 만들어 냅니다.

하지만 손님이 사실은 "김치찌개 말고, 치즈가 들어간 김치찌개를 원했는데!"라고 생각했다면? 요리사는 정답을 냈지만, 손님은 "이건 내가 원한 게 아니야!"라고 실망합니다.

이 논문은 바로 이 **오해 (모호함)**를 해결하는 방법을 연구했습니다.

🔍 핵심 발견: "정답은 주지 말고, '맥락'만 줘라"

연구팀은 AI 에게 질문을 할 때, 정답이 포함된 문서를 주는 게 아니라, **정답은 없지만 질문을 이해하는 데 필요한 배경 정보 (Answer-Free Context)**만 먼저 줘보았습니다.

예를 들어, "아연 황화물 결정이 쓰이는 레이저는?"이라는 질문이 있습니다.

• 기존 방식: AI 에게 "아연 황화물 결정은 레이저에 쓰인다"는 정답이 포함된 문서를 줍니다. (AI 는 그냥 복사해서 답을 합니다.)
• 이 논문의 방식 (AFC): AI 에게 "아연 황화물은 시계 바늘, X-ray 스크린 등에 쓰이는 형광 안료야"라는 배경 정보만 줍니다. 정답인 '레이저'는 빼고요.

그런 다음, AI 가 이 배경 정보를 보고 질문 자체를 다시 다듬게 (Rewrite) 합니다.

• 원래 질문: "아연 황화물 결정이 쓰이는 레이저는?" (너무 짧고 모호함)
• 다듬어진 질문: "시계 바늘이나 X-ray 스크린에 쓰이는 형광 안료인 아연 황화물 결정이 주로 사용하는 레이저의 전자기파 스펙트럼은 무엇인가?" (배경 정보가 질문 속에 자연스럽게 녹아들어, AI 가 정확히 무엇을 물어보는지 이해하게 됨)

🚀 놀라운 결과: "질문을 고치는 것만으로도 실력이 2 배가 된다!"

이 실험에서 가장 놀라운 점은 정답을 직접 주지 않아도, 질문을 명확하게 다듬는 것만으로도 AI 의 정답률이 2 배 이상 뛴다는 것입니다.

• 기존 RAG(검색 기반 생성): 검색해서 나온 문서를 질문 뒤에 붙여주는 방식. (정답이 없으면 효과가 떨어짐)
• 이 논문의 방식: 검색된 배경 정보를 바탕으로 질문을 다시 쓴 후, 그 새로운 질문으로 AI 에게 답을 구함.

결과적으로, 정답이 숨겨진 문서를 검색해서 주지 않아도, 질문 자체를 '맥락'에 맞게 재구성하는 것만으로도 AI 가 훨씬 똑똑하게 답을 냅니다. 마치 요리사에게 "이건 치즈 김치찌개야"라고 알려주는 대신, "이건 치즈가 들어간 김치찌개야"라고 설명을 더 자세히 해주는 것과 같습니다.

🧠 중요한 통찰: "생각하는 과정과 답하는 과정은 따로 해야 한다"

연구팀은 또 다른 재미있는 사실을 발견했습니다.
AI 에게 "배경 정보를 보고 질문을 고치고, 그걸로 바로 답해봐"라고 한 번에 시키면 (생각과 답하기를 동시에), 효과가 사라집니다.

하지만 **"1 단계: 질문을 고쳐라 (정답은 생각하지 말 것)" → "2 단계: 고쳐진 질문으로 답하라"**로 단계를 나누면 효과가 극대화됩니다.

이는 마치 수학 문제를 풀 때와 같습니다.

• 한 번에 하려고 하면: "이 문제 뭐지? 답은 뭐지?"라고 혼란스러워하다가 틀립니다.
• 단계를 나누면: 먼저 "이 문제는 무엇을 묻고 있지? (문제 해석)"를 명확히 하고, 그다음 "그럼 답은?"을 구하면 훨씬 정확해집니다.

📝 요약: 이 논문이 우리에게 알려주는 것

1. 질문이 명확해야 AI 가 잘한다: 사용자가 질문할 때 생략하는 배경 지식이 AI 에게는 치명적인 오해를 불러일으킵니다.
2. 정답 없이도 해결 가능하다: 정답이 포함된 문서를 찾을 필요 없이, **관련된 배경 정보 (맥락)**만 있으면 질문을 명확하게 다듬을 수 있습니다.
3. 질문 다듬기 (Rewriting) 가 핵심: 검색된 정보를 그냥 붙여주는 것보다, 그 정보를 바탕으로 질문 자체를 다시 쓰는 과정이 훨씬 중요합니다.
4. 단계를 나누자: 질문을 해석하고 답을 구하는 것은 별개의 작업입니다. 이 두 가지를 분리하면 AI 의 성능이 비약적으로 상승합니다.

결론적으로, 이 논문은 **"AI 를 더 똑똑하게 만드는 비결은 더 많은 데이터를 주는 것이 아니라, 질문을 더 명확하게 만들어주는 것"**임을 증명했습니다.

기술 요약

이 논문은 답변이 포함되지 않은 배경 정보 (Answer-Free Context, AFC) 를 활용하여 사용자의 질문을 재구성 (Rewriting) 함으로써 언어 모델 (LM) 의 성능을 획기적으로 향상시키는 방법을 제안합니다. 특히 RAG(검색 증강 생성) 시스템에서 검색된 정보가 정답을 직접 포함하지 않더라도, 이를 통해 질문의 모호함을 해소하고 맥락을 명확히 함으로써 정확도를 높일 수 있음을 입증했습니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 질문의 모호성과 맥락 부재: 사용자는 자신의 배경 지식이나 의도를 모델이 공유한다고 가정하고 질문을 작성하는 경향이 있습니다. 이로 인해 중요한 배경 정보가 생략된 채 모호한 질문이 생성됩니다.
• RAG 의 한계: 기존 RAG 시스템은 검색된 문서가 정답을 직접 포함할 때만 성능이 크게 향상됩니다. 그러나 검색된 정보가 정답을 포함하지 않는 '배경 정보'일 경우, 단순히 이를 질문 앞에 덧붙이는 것만으로는 모델의 성능이 크게 개선되지 않거나 오히려 노이즈가 될 수 있습니다.
• 기존 접근법의 부족: 체인 오브 씽킹 (CoT) 등을 통해 모델이 스스로 질문을 재구성하도록 유도하는 방식은, 질문을 해석하고 답변하는 작업을 동시에 수행하게 되어 인지적 부하 (Cognitive Load) 가 발생하며 효과가 제한적입니다.

2. 방법론 (Methodology)

이 연구는 답변이 없는 배경 정보 (AFC) 를 사용하여 질문을 명확하게 재구성하는 이단계 (Rewrite-then-Answer) 프로세스를 제안합니다.

• Answer-Free Context (AFC) 생성:
  • RAG 시스템이 검색한 문서 중 정답을 직접적으로 포함하지 않는 배경 정보만 추출합니다.
  • 별도의 LLM 을 사용하여 정답을 유추할 수 있는 정보를 제거하고, 질문의 모호함을 해소할 수 있는 배경 지식만 남도록 문맥을 정제합니다.
• 질문 재구성 (Query Rewriting):
  • 정제된 AFC 를 바탕으로, 원래 질문의 의도를 명확히 하고 필요한 배경 가정을 명시적으로 포함하도록 질문을 다시 작성합니다.
  • 이 과정에서 정답은 절대 포함되지 않으며, 오직 질문의 모호함만 해소됩니다.
  • 재구성된 질문은 원래 질문과 의미적으로 동일해야 하며, 정답을 유추할 수 있는 단서 (Giveaway) 를 포함하지 않도록 필터링됩니다.
• 평가 프로세스:
  • Original Question: 원본 질문만 입력.
  • Context Prepended: 원본 질문에 AFC 를 덧붙여 입력 (기존 RAG 방식).
  • Rewritten Question: AFC 를 포함하지 않은, 재구성된 질문만 입력 (제안 방식).
  • In-Situ CoT: 모델이 답변 과정에서 스스로 질문을 재구성하도록 유도하는 방식 (비교 대상).

3. 주요 기여 (Key Contributions)

1. AFC 를 활용한 질의 모호성 해소: 정답이 없는 배경 정보만으로도 질문을 재구성하여 모델의 정확도를 획기적으로 높일 수 있음을 증명했습니다.
2. RAG 성능 분석: 검색된 정보가 정답을 포함하지 않을 때, 단순히 정보를 덧붙이는 것보다 질문을 재구성하는 것이 더 효과적임을 규명했습니다.
3. 작업 분리 (Task Separation) 의 필요성: 질문 재구성 (해석) 과 답변 생성 단계를 분리해야 성능 향상을 얻을 수 있으며, 이를 하나의 프로세스 (CoT) 로 통합하면 그 이점이 사라진다는 것을 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상: 'Humanity's Last Exam (HLE)'의 일부 데이터셋에서 gpt-5-mini 모델의 정확도가 0.14 에서 0.37 로 2 배 이상 (약 2.6 배) 증가했습니다.
• 일반적인 개선: 다양한 모델 (gpt-oss, Llama, Gemma 등) 과 데이터셋 (SQuAD, HotpotQA, PubMedQA 등) 에서 평균 13.03% 의 정확도 향상을 보였습니다.
• RAG 베이스라인 대비 우위: 검색된 배경 정보 (AFC) 를 원본 질문 앞에 붙인 경우보다, 재구성된 질문을 입력했을 때 더 높은 정확도를 기록했습니다. 이는 모델이 AFC 정보를 단순히 읽는 것을 넘어, 질문의 맥락을 올바르게 이해하도록 유도되었기 때문입니다.
• 임베딩 공간 정렬: 재구성된 질문과 배경 정보 간의 코사인 유사도 (Cosine Similarity) 가 증가할수록 모델의 정확도가 높아지는 강한 상관관계를 발견했습니다. 이는 질문이 모델의 잠재 공간 (Latent Space) 에서 올바른 답변 방향과 더 잘 정렬되었음을 시사합니다.
• 작업 분리 효과: 질문을 재구성하고 답변하는 것을 동시에 수행하는 'In-Situ' 방식에서는 성능 향상이 나타나지 않았으며, 이는 두 단계의 분리가 필수적임을 보여줍니다.

5. 의의 및 결론 (Significance)

• RAG 시스템의 새로운 패러다임: RAG 시스템은 단순히 정답을 찾는 도구가 아니라, 사용자의 질문을 명확히 하고 맥락을 보정하여 모델이 더 정확한 답변을 생성할 수 있도록 돕는 협력적 파트너로 역할을 확장해야 함을 시사합니다.
• 실용적 가치: 검색된 정보가 정답을 포함하지 않는 상황 (예: 전문적인 배경 지식 필요, 복잡한 추론) 에서도 모델의 성능을 극대화할 수 있는 새로운 전략을 제시합니다.
• 향후 과제: 다단계 (Multi-turn) 프로세스나 'Best-of-N' 접근법을 통해 여러 방향으로 질문을 재구성하고 사용자 의도를 확인하는 등의 추가 연구가 필요하며, 재구성 과정에 소요되는 추론 비용 (토큰, 시간) 을 최적화하는 작업이 요구됩니다.

요약하자면, 이 논문은 **"정답이 없는 정보조차 질문을 명확하게 다듬는 데 활용하면, 모델이 훨씬 더 정확한 답을 낼 수 있다"**는 통찰을 제공하며, 이를 위해 질문 재구성 단계와 답변 단계를 명확히 분리해야 함을 강조합니다.