Verification Without Sufficiency: Per-Chunk Filtering Fails on Multi-Hop RAG, and Decomposition Repairs It

탐정과 사라진 단서

당신이 미스터리를 해결하려는 탐정이라고 상상해 보세요. 하지만 당신의 손에는 수첩 대신 아주 똑똑한 로봇 조수가 있습니다. 이 로봇은 이야기를 쓰고 질문에 답하는 데 능숙하지만, 가끔은 지어내기도 합니다. 로봇이 거짓말을 하는 것을 막기 위해, 당신은 신문 기사 뭉치(검색된 텍스트)를 건네주며 그 안에 숨겨진 구체적인 사실들을 찾아내라고 시킨 뒤 답변을 작성하게 합니다. 이 설정을 '검색 증강 생성(Retrieval-Augmented Generation)', 즉 RAG라고 부릅니다. 개념은 간단합니다. 로봇이 단서들을 읽고, 그것들이 말이 되는지 확인한 다음, 진실을 말하는 것입니다.

하지만 미스터리가 "멀티홉(multi-hop)" 퍼즐이라면 어떻게 될까요? 일반적인 질문에서는 답이 한 단락 안에 바로 들어있습니다. 하지만 멀티홉 퍼즐에서 답은 단서의 사슬 속에 숨겨져 있습니다. 하나의 단락을 읽어 이름을 찾아낸 다음, 그 이름을 이용해 진짜 답이 들어있는 두 번째 단락을 찾아내야 합니다. 로봇의 임무는 "이 단락이 퍼즐을 푸는 데 도움이 되는가?"를 검증하는 것입니다. 연구자들이 던지는 핵심 질문은 이것입니다. "우리가 각 단락을 하나씩 확인하여 유용한지 판단할 수 있는가, 아니면 조각들을 개별적으로 보면 퍼즐이 깨져버리는가?"

---

한 번에 하나씩 보는 것의 함정

이 논문에서 연구자 란디르 쿠마르(Randhir Kumar)는 로봇 조수를 고치기 위해 사용되는 흔한 전략을 조사합니다. 이 전략은 "청크별 필터링(per-chunk filtering)"이라고 불립니다. 신문 기사가 10개 쌓여 있다고 상상해 보세요. 표준적인 조언은 각 기사를 개별적으로 살펴보고, 점수를 매긴 뒤, 답을 포함하고 있지 않은 것처럼 보이는 것들을 버리는 것입니다. 이는 마치 클럽 문 앞에서 신분증을 검사하는 보안 요원처럼 논리적으로 들립니다. 만약 신분증이 게스트 명단과 일치하지 않으면, 입장을 허용하지 않는 식이죠.

논문은 멀티홉 퍼즐의 경우, 이 "보안 요원" 전략이 사실 재앙이라는 것을 보여줍니다. 단순히 보안 요원이 일을 못 하는 것이 아니라, 직무 자체가 불가능한 것입니다.

여기 반전이 있습니다. 멀티홉 퍼즐에서 실제 최종 답을 담고 있는 단락은 대개 질문에서 언급하지 않은 단락입니다. 예를 들어, 질문이 "영화 X에서 악역을 맡은 배우의 아내는 누구인가?"라면, 질문은 영화와 배우를 언급합니다. 그 영화에 관한 단락은 찾기 쉽습니다. 하지만 배우의 아인에 관한 단락은요? 질문은 그녀의 이름을 전혀 언급하지 않습니다. 만약 당신이 로봇에게 "이 아내에 관한 단락이 질문에 답하는 데 도움이 되는가?"라고 묻는다면, 로봇은 질문을 보고 아내에 대한 언급이 없음을 확인한 뒤, "아니요, 이것은 무관합니다"라고 답할 것입니다. 그리고 가장 중요한 단서를 쓰레기통에 던져버립니다.

연구자들은 세 가지 퍼즐 데이터셋(HotpotQA, 2WikiMultihopQA, MuSiQue)을 통해 이를 테스트했으며, 이 "하나씩" 확인하는 방식이 처참하게 실패했다는 것을 발견했습니다. 단락들을 개별적으로 점수 매기려 할 때, 시스템은 도움이 되는 단서와 가짜 단서를 구분하지 못했습니다. 성공률(AUC로 측정)은 0.54에서 0.64 사이를 맴돌았는데, 이는 동전 던지기보다 겨우 나은 수준이었습니다. 실제로 가장 어려운 퍼즐에서 시스템은 너무 혼란스러워져서, 종종 틀린 단락을 남기고 맞는 단락을 버리곤 했습니다.

왜 "보안 요원"은 실패하는가

논문은 왜 이런 일이 발생하는지에 대한 몇 가지 변명을 배제합니다. 로봇이 너무 멍청해서가 아닙니다(더 크거나 작은 로봇으로도 테스트했지만, 문제는 더 똑똑한 로봇일수록 심해졌습니다). 단락이 너무 짧거나 길어서도 아닙니다. 보안 요원이 규칙을 너무 엄격하게 적용하거나 느슨하게 적용해서도 아닙니다.

진짜 범인은 **충분성(sufficiency)**입니다. "보안 요원"은 단 하나의 단락이 답을 증명하기에 충분해야 한다고 가정합니다. 하지만 멀티홉 퍼즐에서 단 하나의 단락만으로는 충분하지 않습니다. 첫 번째 단서와 두 번째 단서의 조합이 있어야 비로소 의미가 생깁니다.

이를 증명하기 위해 연구자들은 영리한 실험을 했습니다. 그들은 두 개의 정답 단락을 가져와 하나의 긴 텍스트로 합쳤습니다. 그리고 결합된 텍스트를 보고 로봇에게 확인을 요청했을 때, 성공률은 동전 던지기 수준인 0.66에서 0.88까지 급등했습니다. 이는 정보가 그곳에 존재했다는 것을 보여줍니다. 다만 로봇이 단서들이 분리되어 있을 때는 그것을 보지 못했을 뿐입니다.

또한, 퍼즐의 단계가 많아질수록 문제가 악화된다는 것을 발견했습니다. 퍼즐을 푸는 데 두 단계가 필요하면 로봇은 어느 정도 해내지만, 네 단계가 필요하면 로봇은 완전히 길을 잃습니다. 이는 마치 풀 한 포기씩을 하나하나 살펴보며 건초더미 속에서 바늘을 찾는 것과 같습니다. 전체 더미를 보기 전까지는 절대 바늘을 찾을 수 없습니다.

해결책: 문제를 잘게 나누기

그렇다면, 한 번에 한 단락씩 확인하는 것이 실패한다면 무엇이 효과적일까요? 논문은 질문을 던지는 방식을 바꾸는 수리책을 제 제안합니다.

로봇에게 "이 단락이 원래 질문에 답하는가?"라고 묻는 대신, "이 단락이 퍼즐의 다음 단계에 답하는가?"라고 묻는 것을 제안합니다.

퍼즐이 보물찾기라고 상상해 보세요.

• 기존 방식: 로봇에게 섬의 지도를 보여주며 "이 지도가 보물을 보여주는가?"라고 묻습니다. 로봇은 "아니요, 이 지도에는 보물이 없습니다"라고 말하며 지도를 버립니다. 하지만 그 지도는 보물 상자를 여는 데 필요한 열쇠의 위치를 보여주고 있습니다.
• 새로운 방식: 먼저 첫 번째 단계를 파악합니다: "열쇠는 어디에 있는가?" 그러면 열쇠가 있는 지도를 찾습니다. 그다음, 로봇에게 "이 다음 지도가 열쇠를 가지고 있다는 가정하에 보물을 보여주는가?"라고 묻습니다. 갑자기 로봇은 이해하게 됩니다. 연결 고리를 보게 된 것입니다.

연구자들은 "분해기(decomposer)"—큰 질문을 작은 하위 질문들로 나누는 도구—를 사용하여 이를 테스트했습니다. 이 작은 질문들을 사용하여 단락들을 확인했을 때, 성공률은 치솟았습니다. 가장 어려운 퍼즐에서 점수는 무작ual히 추측하는 수준인 0.546에서 0.840으로 뛰어올랐습니다. 이는 엄청난 개선이며, 특정 단계에 맞는 적절한 맥락을 제공하면 로봇이 답을 찾을 수 있음을 증명합니다.

틀렸을 때 치러야 할 대가

논문은 이러한 방법들을 실제로 답변 생성에 사용했을 때 어떤 일이 벌어지는지도 살펴보았습니다. 그들은 "하나씩" 확인하는 보안 요원 방식이 최악의 선택이었다는 것을 발견했습니다. 이 방식은 너무 형편없어서, 아예 필터링 없이 로봇이 모든 것을 읽게 내버려 두었을 때보다 오히려 로봇의 답변 품질을 떨어뜨렸습니다.

사실, 로봇이 똑똑할수록 이 잘못된 필터링으로 인해 더 큰 피해를 입었습니다. 약간 똑똑한 로봇은 정확도가 4.6포인트 하락했지만, 매우 똑똑한 로봇은 19.4포인트나 하락했습니다. 이는 마치 뛰어난 요리사에게 요리의 제목과 맞지 않는다는 이유로 주재료를 빼버린 레시피를 주는 것과 같습니다. 요리사는 무엇이 빠졌는지 정확히 말할 수 있을 만큼 똑똑하지만, 재료가 없으니 요리를 완성할 수는 없는 것입니다.

시사점

여기서 얻는 주요 교훈은, 여러 단계로 이루어진 퍼즐을 각 단계를 고립시켜서 판단해서는 안 된다는 것입니다. 각 단락을 원래 질문과 대조하여 확인하는 "보안 요원" 방식이 실패하는 이유는, 답이 단락 그 자체에 있는 것이 아니라 단락 사이의 연결 속에 숨겨져 있기 때문입니다.

이 논문은 이 문제를 완벽하게 해결했다고 주장하는 것이 아닙니다. 새로운 "분해된" 방식을 사용하더라도 여전히 개선의 여지가 있으며, 연구자들도 자신들의 도구가 아직 완벽하지 않음을 인정합니다. 하지만 그들은 기존의 필터링 방식이 잘못되었으며, 앞으로 나아갈 길은 큰 질문을 작고 관리 가능한 조각들로 나누는 데 있다는 것을 입증했습니다. 이는 때때로 답을 찾기 위해서, 전체 그림을 보는 것을 멈추고 바로 다음 단계를 바라봐야 한다는 점을 상기시켜 줍니다.