💬 NLP

HopRefusalBench: Diagnosing Refusal Failures in Search-Augmented Agents for Multi-Hop Reasoning

이 논문은 검색 증강 에이전트가 답변 불가능한 멀티홉 질문을 어떻게 처리하는지 평가하기 위해 설계된 최초의 벤치마크인 HopRefusalBench를 소개하며, 모델들이 답변 불가능한 이유를 식별할 수는 있는 경우가 많지만, 적절한 거절을 확정하는 데 자주 실패하여 대신 환각 현상을 보이거나 검색 예산을 소진한다는 점을 밝혀낸다.

원저자: Jianan Xie, Xin Sun, Zhongqi Chen, Xing Zheng, Qiang Liu, Bowen Song

게시일 2026-08-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jianan Xie, Xin Sun, Zhongqi Chen, Xing Zheng, Qiang Liu, Bowen Song

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스터리를 해결하기 위해 아주 똑똑한 탐정을 고용한다고 상상해 보세요. 이 탐정은 즉시 방문할 수 있는 마법의 도서관을 가지고 있으며, 서로 다른 책들 사이의 점들을 연결하여 답을 찾아내는 데 매우 능숙합니다. 이것이 현대의 "검색 증강(Search-Augmented)" AI 에이전트가 작동하는 방식입니다. 즉, 이들은 대규모 언어 모델로서 인터넷(또는 데이터베이스)을 검색하러 나가 정보를 조립하여 당신의 질문에 답할 수 있습니다. 보통 이 방식은 놀랍도록 훌륭합니다. 하지만 만약 당신이 답을 낼 수 없는 질문을 던진다면 어떻게 될까요? 예를 들어, "현재 프랑스의 국왕은 누구인가요?"(국왕은 존재하지 않습니다)라고 묻거나, "존재하지 않는 요리의 비밀 재료는 무엇인가요?"라고 묻는다면 어떨까요?

AI의 세계에서는, 답을 하는 것만큼이나 답을 하지 말아야 할 때를 아는 것도 매우 중요합니다. 만약 당신의 탐정이 계속해서 도서관을 뒤지며 가짜 국왕을 만들어내거나, 존재하지 않는 재료를 찾기 위해 몇 시간이나 허비한다면, 그 탐정은 도움이 되는 것이 아니라 고집스럽고 낭비적인 존재가 됩니다. 과학자들은 이를 "거절(refusal)"이라고 부릅니다. 즉, "질문 자체가 잘못되었기 때문에 답할 수 없습니다"라고 말할 수 있는 능력입니다. 우리는 이 AI 탐정들이 어려운 퍼즐을 푸는 데 점점 더 능숙해지고 있다는 것을 알고 있지만, 정작 퍼즐 자체가 풀 수 없는 불가능한 상태일 때 이들이 어떻게 행동하는지는 잘 알지 못했습니다. 그들은 빨리 멈췄을까요? 혼란에 빠졌을까요? 아니면 그냥 이야기를 지어냈을까요?

이 논문은 이 AI 탐정들이 불가능한 질문을 어떻게 다루는지 정확히 파악하기 위해 HopRefusalBench라는 새로운 테스트를 소개합니다. 연구진은 AI를 함정에 빠뜨리기 위해 설계된 889개의 까다로운 질문들을 만들었습니다. 그들은 단순히 간단한 "모르겠습니다" 식의 질문을 던진 것이 아니라, 함정이 질문의 맨 앞, 중간의 단서, 혹은 맨 끝에 위치하도록 설계된 복잡하고 다단계적인 미스터리를 구축했습니다. 연구진은 AI가 질문이 잘못되었다는 것을 초기에 깨달을지, 아니면 계속 검색하다가 결국 환각(hallucination, 답변을 지어냄) 현상을 일으킬지를 확인하고자 했습니다.

결과는 다소 충격적이었습니다. 테스트에 참여한 가장 똑똑한 AI 모델들조차도 올바르게 멈춰 서서 "답할 수 없습니다"라고 말하는 데 성공한 비율이 **42.9%**에 불과했습니다. 이는 절반 이상의 경우에서 AI가 질문이 불가능하다는 사실을 인지하지 못했음을 의미합니다. 연구 결과, AI 모델들은 증거가 확보된 후에는 왜 질문이 잘못되었는지 그 논리를 설명하는 데는 꽤 능숙했지만(84% 이상의 경우 논리를 설명할 수 있었음), 실제로 멈추기로 '결단'하는 데는 어려움을 겪었습니다. "포기하겠다"라고 말하는 대신, 그들은 시간이 다 되거나 에너지가 바닥날 때까지 계속 검색하거나, 사용자를 만족시키기 위해 가짜 답변을 만들어내는 경우가 많았습니다.

또한 연구진은 질문 속에 "함정"이 어디에 배치되었는지가 매우 중요하다는 것을 발견했습니다. 문제가 추론 과정의 중간(예: 두 섬 사이의 끊어진 다리)에 있을 때가 문제의 맨 끝에 있을 때보다 AI가 멈추기 훨씬 더 어려웠습니다. 나아가, 불가능한 질문의 유형에 따라 AI가 실패하는 방식도 달랐습니다. 어떤 모델은 사실을 지어내는 경향(환각)이 있는 반면, 어떤 모델은 예산(budget)이 바닥날 때까지 무한히 검색을 계속하는 경향을 보였습니다.

요약하자면, 이 논문은 우리의 AI 탐정들이 정보를 찾는 능력은 향로지고 있지만, 언제 그만둬야 할지를 아는 데는 여전히 서툴다는 것을 보여줍니다. 그들은 질문 자체가 결함이 있음에도 불구하고 멈추기보다는 검색의 굴레에 갇히거나 이야기를 지어내는 경우가 많습니다. 저자들은 이 AI 에이전트들이 진정으로 신뢰할 수 있는 존재가 되기 위해서는, 단순히 검색하는 법뿐만 아니라 막다른 길을 인식하고 시간을 낭비하거나 잘못된 정보를 퍼뜨리기 전에 멈추는 법을 배워야 한다고 제안합니다. 다행인 점은, 이제 우리에게 그들이 정확히 어디에서 실패하고 있는지, 그리고 어떻게 고칠 수 있는지를 진단할 수 있는 지도(HopRefusalBench)가 생겼다는 것입니다.

기술 요약: HopRefusalBench

문제 정의
검색 증강 대규모 언어 모델(LLM) 에이전트는 지식 집약적 과제를 해결하는 데 점점 더 효과적이지만, 근본적으로 답변 불가능한 멀티홉(multi-hop) 질문에 직면했을 때의 동작 방식은 여전히 제대로 이해되지 않고 있습니다. 기존의 절제(abstention) 벤치마크들은 주로 단일 홉 쿼리나 표면적인 추론 과정에서의 결함을 노출하는 데 그칩니다. 이러한 벤치마크들은 유효한 중간 추론과 검색이 이미 수행된 이후에 발생하는 실패를 포착하지 못합니다. 실제 시나리오에서 사용자 쿼리는 종종 잘못된 전제, 미지정된 맥락 또는 알려지지 않은 답을 포함합니다. 신뢰할 수 있는 검색 증강 에이전트는 이러한 답변 불가능한 조건을 멀티스텝 검색 과정 중에 감지하고, 인식론적으로 적절한 비답변(거절)으로 응답해야 합니다. 그러나 현재의 시스템들은 유효한 접두사(prefix) 증거로 인해 발생하는 "완성 압박(completion pressure)" 때문에 비용이 많이 드는 검색 루프에 빠지거나, 끊어진 연결을 강제로 이어 붙이거나, 답변을 환각(hallucinate)해내는 경우가 많습니다.

방법론: HopRefusalBench 구축
저자들은 멀티홉 검색 내에서의 거절 실패를 진단하기 위해 설계된 최초의 통제된 벤치마크인 HopRefusalBench를 소개합니다. 이 벤치마크는 4단계 파이프라인을 통해 구축된 889개의 답변 불가능한 질문으로 구성됩니다:

시드 그라운딩(Seed Grounding): 저자들은 비답변 또는 명확화가 필요한 기존 데이터셋(예: CoCoNot, BIG-Bench, FalseQA)에서 시드 질문을 선정합니다. 이들은 세 가지 답변 불가능 원인에 따라 분류됩니다:
- 답변 불명(Answer Unknown, AU): 요청된 사실이 확립되지 않았거나 알 수 없는 상태.
- 잘못된 전제(False Premise, FP): 질문에 사실과 다른 가정이 포함됨.
- 미지정된 맥락(Underspecified Context, UC): | 필요한 수식어나 조건이 누락됨.
KG 유도 경로 구축(KG-Guided Path Construction): KILT Wikipedia 하이퍼링크 그래프를 사용하여 유효한 추론 체인을 구축합니다. 저자들은 양방향 순회를 수행합니다: 백링크(backlink) 순회는 "역방향 앵커(backward anchor)"를 향해 유효한 접두사를 구축하고, 아웃고잉 링크(outgoing-link) 순회는 "순방향 브리지(forward bridge)"로부터 접미사를 확장합니다. 이를 통해 의미적 연속성을 보장하면서 동시에 답변 불가능한 단계를 격리합니다.
위상 제어 합성(Topology-Controlled Synthesis): 핵심 혁신은 답변 불가능성이 추론 체인을 중단시키는 위치를 제어하는 것입니다. 벤치마크는 세 가지 원인을 세 가지 위상과 교차시킵니다:
- 루트(Root): 답변 불가능한 시드가 첫 번째 단계이며, 그 뒤에 그럴듯한 연속성이 마스킹되어 있음.
- 미들(Middle): 답변 불가능한 단계가 유효한 접두사와 의존적인 접미사 사이에서 끊어진 다리 역할을 함.
- 터미널(Terminal): 유효한 접두사가 완전히 해결된 후에만 답변 불가능한 단계가 나타남.
품질 관리(Quality Control): 다단계 감사를 통해 숨겨진 앵커가 유출되지 않았는지, 체인의 일관성이 유지되는지, 그리고 퓨전 모델이 전제를 실수로 수정하지 않고 원래의 답변 불가능 원인이 그대로 보존되었는지 확인합니다.

평가 프레임워크
저자들은 최종 결과와 소스 인지 증거 타임라인을 모두 평가하는 진단 프레임워크를 제안합니다:

최종 결과 분류 체계(Final Outcome Taxonomy): 응답은 정확한 거절(대상 인지 정확한 중단, TACH), 의사 거절(조기 중단, 잘못된 근거 또는 무의미한 근거), 환각(결함이 있는 전제를 수용함), 검색 고갈(최종 결정 없이 검색 예산을 소모함)로 분류됩니다.
소스 인지 메트릭(Source-Aware Metrics): 프레임워크는 거절을 위한 충분한 증거가 나타나는 첫 번째 턴( $T_{trap}$ )을 식별합니다. 이는 모델이 멈출 수 있었던 시점 이후의 비효율성을 정량화하기 위해 포스트 트리거 토큰 낭비(Post-Trigger Token Waste, PTTW) 및 **포스트 트리거 과잉 검색률(Post-Trigger Over-Search Rate, PTOS)**을 측정합니다.
검색 유도 변화(Search-Induced Shifts): 검색 증강 모드와 비증강 모드를 비교함으로써, 저자들은 검색이 행동을 어떻게 변화시키는지 측정하며, 특히 검색 유도 오버라이드율(Search-Induced Override Rate, SIOR)(검색이 정확한 거절을 실패로 바꾸는 빈도)과 **검색 유도 구조율(Search-Induced Rescue Rate, SIRR)**을 계산합니다.

주요 결과
저자들은 10개의 최첨단 독점 및 오픈 웨이트 모델(GPT-5.4, Claude-Sonnet-5, Qwen3.5/3.6, Kimi-K2.5/2.6, DeepSeek-V4-Pro, GLM-5.1/5.2 포함)을 검색 증강 모드에서 평가했습니다:

낮은 전반적 성능: 가장 우수한 성능을 보인 모델의 대상 인지 정확한 중단율(TCHR)은 42.9%에 불리하게 그쳤습니다.
검색이 거절을 불안정하게 만듦: 10개 모델 중 9개에서 검색 증강이 비증강 모드에 비해 TCHR을 감소시켰습니다. 검색은 실패를 구조하기보다는(4.2~~16.9%) 자주 정확한 거절을 무력화(20.4~~67.3%)합니다.
위상 및 원인에 따른 난이도:
- 루트와 미들 항목은 터미널 항목보다 일관되게 어려웠으며, 이는 그럴듯한 하위 목표가 초기 결함을 더 효과적으로 가린다는 것을 시사합니다.
- 모델들은 잘못된 전제(검색이 주장을 직접 반박할 수 있는 경우)에서 가장 잘 작동하고, 미지정된 맥락 질문(모델이 그럴듯한 참조 대상을 제공하도록 유도하는 경우)에서 가장 낮은 성능을 보였습니다.
상이한 실패 모드:
- 모델들은 서로 다른 실패 채널을 보입니다: 일부(예: GPT-5.4)는 증거에도 불구하고 주로 답변을 환각하는 반면, 다른 모델들(예: Qolen3.6-27B)은 검색 고갈 경향을 보입니다.
- 전념 vs 인식(Commitment vs Recognition): 중요한 발견은 명시적 거절 유사 응답의 84.7~98.4%가 근거를 정확히 식별한다는 점입니다. 주요 병목 구간은 답변 불가능성을 인식하는 것이 아니라, 비답변에 대한 **전념(commitment)**을 실행하는 것입니다.
비효효율성: 많은 궤적들이 충분한 증거가 발견된 후에도 계속 검색을 수행하여, 일부 모델의 경우 평균적으로 최대 10,321개의 포스트 트리거 토큰 낭비를 발생시켰습니다.

의의 및 주장
본 논문은 HopRefusalBench가 멀티홉 검색 내에서의 거절을 중대한 평가 문제로 확립한다고 주장합니다. 이는 증거 발견, 거절 결정, 효율적 중단을 분리함으로써 신뢰성을 진단하는 토대를 제공합니다. 저자들은 현재의 검색 증강 에이전트들이 전제를 검증하고, 거절을 결정하며, 검색 예산을 동시에 제어하는 협응된 능력이 부족하다고 주장합니다. 이 벤치마크는 에이전트형 검색 시스템의 신뢰성 향상을 위한 추가 연구를 촉진하기 위해 공개적으로 제공됩니다.

유사한 논문