SealQA: Raising the Bar for Reasoning in Search-Augmented Language Models

이 논문은 웹 검색 결과가 모순되거나 노이즈가 많을 때 사실 기반 추론 능력을 평가하기 위한 새로운 벤치마크인 SealQA 를 소개하고, 최신 최첨단 언어 모델들조차 이 환경에서 심각한 성능 저하와 계산량 증가에 따른 개선 한계를 보임을 규명합니다.

핵심

🕵️‍♂️ SEALQA: "검색을 하는 AI"를 위한 치명적인 함정 테스트

이 논문은 최신 인공지능 (LLM) 이 인터넷 검색을 할 때 얼마나 잘 (또는 못) 하는지 테스트하는 새로운 기준, SEALQA를 소개합니다.

상상해 보세요. AI 는 이제 단순히 책에서 지식을 외우는 것을 넘어, 인터넷을 검색해서 답을 찾는 '탐정'이 되었습니다. 하지만 SEALQA 는 이 탐정들에게 **"인터넷에 떠도는 거짓말, 헷갈리는 정보, 그리고 소음 (Noise) 이 가득한 미로"**를 보여주며, 진짜 답을 찾아낼 수 있는지 시험합니다.

이 논문의 핵심 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 왜 이런 테스트가 필요할까요? (기존 테스트의 한계)

기존의 AI 테스트는 마치 **"정답이 명확한 수학 문제집"**을 푸는 것과 같았습니다. "2+2 는 몇?" 같은 질문이죠. 최신 AI 는 이걸 거의 100% 맞춥니다.

하지만 현실 세계의 검색은 다릅니다.

• 비유: 인터넷 검색은 **"수백 명의 사람들이 한꺼번에 떠드는 광장"**과 같습니다.
  • 어떤 사람은 진짜 사실을 말하고,
  • 어떤 사람은 옛날 이야기를 하고,
  • 어떤 사람은 고의로 거짓말을 합니다.
  • 심지어 같은 질문을 해도 검색 결과마다 서로 다른 답이 나옵니다.

기존 AI 는 이 '광장의 소음' 속에서 진짜 진실을 찾아내지 못하고, 가장 눈에 띄는 (하지만 틀린) 소리에 귀를 기울여 엉뚱한 답을 내놓는 경우가 많습니다.

2. SEALQA 의 세 가지 모드 (난이도 조절)

SEALQA 는 AI 의 능력을 3 단계로 나누어 테스트합니다.

• 🔥 SEAL-0 (최고 난이도):
  • 비유: "AI 가 검색을 해도 100% 실패하게 만든 함정"입니다.
  • 최신 AI(GPT-4 등) 가 검색을 해도 거의 0% 의 정확도로 실패하는 질문들만 모았습니다. 마치 "이 미로에서는 어떤 길로 가도 출구가 없다"고 설계된 것처럼, AI 가 헷갈리게 만드는 질문들입니다.
• 💪 SEAL-HARD (하드 모드):
  • 비유: "전문가도 고민해야 하는 어려운 문제"입니다.
  • SEAL-0 을 포함하되, 조금 더 다양한 난이도의 질문들을 추가했습니다.
• 📚 LONGSEAL (긴 문맥 모드):
  • 비유: **"수천 권의 책 더미 속에서 단 한 권의 정답을 찾는 'Haystack(건초더미) 속 바늘 찾기'"**입니다.
  • AI 에게 관련 없는 책 50 권과 정답이 있는 책 1 권을 섞어줍니다. AI 는 정답이 있는 책이 어디에 있는지 찾아내야 합니다.

3. 실험 결과: AI 들은 어떻게 했을까요?

연구진은 최신 AI 모델들 (GPT-5, DeepSeek-R1, O3 등) 을 이 테스트에 투입했고, 결과는 충격적이었습니다.

• 🤖 "생각을 많이 해도 소용없다" (Test-time Scaling 실패):
  • AI 에게 "더 많이 생각해보라 (계산 자원을 더 써라)"고 지시하면 보통 성능이 좋아집니다. 하지만 SEALQA 에서는 더 생각할수록 오히려 헷갈려서 틀리는 경우가 많았습니다.
  • 비유: 소음이 가득한 방에서 "조용히 집중해서 들어봐"라고 하면, 오히려 소음에 더 민감해져서 잘못된 소리를 진짜로 착각하게 되는 것과 같습니다.
• 🗣️ "검색 결과가 독이 된다":
  • AI 는 검색 결과가 나쁘면 (거짓말이 섞여 있으면), 아예 검색을 안 할 때보다 더 나쁜 답을 내놓기도 했습니다.
  • 비유: 친구가 "저기 저 길로 가면 돼"라고 거짓말을 했는데, AI 는 그 친구 말을 너무 믿어서 엉뚱한 곳으로 가버린 꼴입니다.
• 📉 "중간에 있는 정답을 못 찾는다":
  • LONGSEAL 테스트에서 AI 는 정답이 있는 책이 건초더미의 가운데에 있을 때, 그 책을 찾아내지 못했습니다. (비록 '가운데에 있는 것을 잊어버리는' 고전적인 문제는 덜했지만, 여전히 정답을 찾아내는 능력은 부족했습니다.)

4. 결론: AI 는 아직 '현실 세계'를 잘 모릅니다

이 논문이 말하려는 핵심은 이렇습니다.

"현재의 AI 는 책상 위의 지식을 암기하는 데는 천재지만, 혼란스럽고 거짓말이 섞인 현실 세계의 검색을 다룰 때는 아직 미숙합니다."

AI 가 더 똑똑해지려면 단순히 지식을 더 많이 쌓는 것뿐만 아니라, 거짓말을 걸러내고, 상충되는 정보를 비교하며, 소음 속에서 진실을 찾아내는 '비판적 사고' 능력이 훨씬 더 필요하다는 것을 SEALQA 가 증명했습니다.

📝 한 줄 요약

SEALQA 는 AI 에게 "인터넷이라는 거대한 소음 속에서 진짜 진실을 찾아낼 수 있느냐"를 묻는, 매우 까다롭지만 현실적인 시험입니다. 그리고 현재 AI 들은 이 시험에서 여전히 많이 떨어지고 있습니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 이 검색 증강 (Search-Augmented) 기술을 통해 외부 정보를 활용하는 능력이 향상되고 있지만, 기존 벤치마크는 다음과 같은 한계를 가지고 있습니다.

• 단순 사실 검색의 포화: 기존 벤치마크는 상위 검색 결과에 정답이 명확히 포함된 단순한 사실 질문 (Fact-seeking questions) 에 치중되어 있어, 최신 최첨단 모델들이 90% 이상의 정확도를 보여 벤치마크의 한계를 드러내고 있습니다.
• 실제 검색 환경의 복잡성 반영 부족: 실제 웹 검색은 노이즈, 모호한 정보, 상충되는 내용 (Conflicting results), 그리고 시의성 있는 정보의 부재 등 혼란스러운 결과를 반환합니다. 현재의 모델들은 이러한 ' messy(불결한)' 검색 결과를 필터링하고, 모순을 해결하며, 신뢰할 수 있는 신호를 추출하는 심층 추론 (Deep Reasoning) 능력을 충분히 평가받지 못했습니다.
• 평가의 부재: 검색 결과의 노이즈 속에서 정확한 사실을 찾아내고 추론하는 능력을 체계적으로 평가할 수 있는 벤치마크가 부족했습니다.

2. 방법론 (Methodology)

저자들은 SEALQA라는 새로운 벤치마크를 제안했습니다. 이는 웹 검색이 상충되거나, 노이즈가 많거나, 도움이 되지 않는 결과를 반환하는 사실 기반 질문들을 평가하기 위해 설계되었습니다.

데이터 구성 및 큐레이션

• 개발 과정: 6 명의 NLP 연구자가 8 개월 이상 투입되어, 각 질문이 여러 모델의 반복 시도에서도 실패하도록 (0% 정확도) 엄격하게 검증하고 다듬었습니다.
• 질문 유형:
  • 고급 추론: 다단계 추론, 검색 결과의 차트/표 해석, 계산 및 카운팅.
  • 개체/사건 모호성 해소: 유사한 개체나 사건 구분.
  • 시간적 추적: 시간에 따른 동일 개체의 변화 추적.
  • 크로스 링구얼 추론: 영어 질문이지만 비영어권 소스를 통한 추론 필요.
  • 잘못된 전제 (False-premise): 잘못된 가정을 반박해야 하는 질문.
• 품질 관리: 각 질문은 2 명 이상의 대학원생 리뷰어와 전문가의 승인을 거치며, 답변의 검증 가능성과 소스 최신성을 보장합니다.

SEALQA 의 세 가지 변형 (Flavors)

1. SEAL-0 (Main): 111 개의 질문으로 구성된 핵심 세트. GPT-4.1 등 최첨단 비추론 모델조차 검색 도구를 사용해도 거의 0% 의 정확도를 보이는 극도로 어려운 질문들입니다.
2. SEAL-HARD: SEAL-0 을 포함하여 254 개의 질문으로 확장된 세트. 엄격한 실패 기준을 충족하지는 않았으나 여전히 매우 어려운 질문들을 포함합니다.
3. LONGSEAL: 254 개의 질문에 대해 50 개의 하드 네거티브 (오답 문서) 와 1 개의 골드 문서 (정답 문서) 를 포함하는 'Haystack(건초더미) 속의 바늘 (Needle-in-a-haystack)' 시나리오입니다. 이는 긴 컨텍스트와 다중 문서 추론 능력을 평가합니다.

3. 주요 기여 (Key Contributions)

1. SEALQA 벤치마크 출시: 노이즈가 많고 상충되는 검색 결과 하에서의 추론 능력을 평가하는 최초의 통합 벤치마크를 공개했습니다.
2. 모델 한계 규명: 현재 최첨단 모델 (Frontier LLMs) 이 검색 증강 환경에서도 심각한 한계를 겪고 있음을 실증했습니다. 특히, 검색 결과의 노이즈에 취약하고, 테스트 시간 계산 (Test-time compute) 증가가 항상 성능 향상으로 이어지지 않음을 발견했습니다.
3. 오픈 소스 데이터 공개: Hugging Face 를 통해 SEALQA 를 공개하여 향후 연구의 기반을 마련했습니다.

4. 실험 결과 (Results)

저자들은 GPT-4.1, GPT-5, O-series (o3, o4-mini), DeepSeek-R1, Llama-4 등 다양한 모델을 SEALQA 에서 평가했습니다.

SEAL-0 및 SEAL-HARD 결과

• 전반적인 낮은 성능: 검색 도구를 사용하지 않은 경우 대부분의 모델이 0~5% 의 정확도를 보였습니다. 검색을 사용하더라도 GPT-5-High(최고 성능 모델) 의 SEAL-0 정확도는 고작 **43.2%**에 그쳤습니다.
• 노이즈에 대한 취약성: 고급 추론 모델 (예: DeepSeek-R1-671B) 이 오히려 노이즈가 많은 검색 결과에 더 취약한 경향을 보였습니다. 검색을 추가했을 때 오히려 성능이 하락하는 경우가 많았습니다 (예: DeepSeek-R1 은 검색 시 SEAL-0 에서 22.4% → 11.0% 로 급감).
• 테스트 시간 스케일링의 한계: 추론 토큰을 늘리는 (Test-time scaling) 것이 항상 성능 향상을 가져오지 않았습니다. O3-mini 와 GPT-5 의 경우, 추론 노력을 높여도 성능이 정체되거나 오히려 감소하는 현상이 관찰되었습니다. 이는 노이즈가 많은 검색 결과에 대해 과도한 추론이 모델이 잘못된 증거에 매몰되게 만들기 때문으로 분석됩니다.
• 인간 vs 모델: 인간은 오픈 검색 조건에서 평균 38.8%, 정답 문서만 제공된 (Oracle) 조건에서 50.4% 의 정확도를 보였으며, 최상위 모델 (O3-High) 보다 여전히 성능이 우위였습니다.

LONGSEAL 결과

• 주요 방해 요소 (Distractors) 에 대한 실패: Gold 문서가 컨텍스트의 위치 (처음, 중간, 끝) 에 관계없이 모델이 관련 문서를 식별하지 못하는 경향이 있었습니다.
• 'Lost-in-the-middle' 현상의 부재: 기존 연구 (Liu et al., 2024) 에서 보고된 중간 문서 무시 현상은 최신 모델에서 뚜렷하지 않았으나, 대신 다수의 방해 요소가 존재할 때 관련성을 판단하는 능력 전반의 부재가 새로운 주요 실패 원인으로 드러났습니다.
• 추론과 검색의 분리 실험: 방해 문서를 제거하고 정답 문서만 제공해도 모델의 정확도는 여전히 낮았습니다 (GPT-4.1: 48.0%, O3-Mini: 56.7%). 이는 SEALQA 의 난이도가 단순한 검색 실패뿐만 아니라, 주어진 정보에 대한 추론 능력의 부족에서도 기인함을 보여줍니다.

5. 의의 및 결론 (Significance)

• 새로운 평가 기준: SEALQA 는 단순한 사실 회상이 아닌, 노이즈와 모순 속에서 사실을 추론하고 검증하는 능력을 평가하는 새로운 표준을 제시합니다.
• 검색 증강 모델의 한계 지적: 현재 최첨단 모델들도 웹 검색의 복잡성 (상충, 노이즈, 시의성) 을 처리하는 데 근본적인 어려움을 겪고 있으며, 단순히 검색 도구를 추가하거나 추론 토큰을 늘리는 것만으로는 해결되지 않음을 시사합니다.
• 향후 연구 방향: 모델이 검색 결과의 신뢰성을 평가하고, 노이즈를 필터링하며, 긴 컨텍스트 내에서 관련성을 정확히 파악하는 아키텍처 및 학습 전략의 발전이 필요함을 강조합니다.

이 논문은 검색 증강 생성 (RAG) 시스템의 실제 적용 가능성을 평가하고, 향후 더 견고한 추론 능력을 갖춘 AI 개발을 위한 중요한 이정표가 될 것입니다.