Candidate Evidence Reranking and Risk-Aware Answer Selection in Multi-Hop Retrieval-Augmented Generation

현대 인공지능의 지형에서 흔히 발생하는 과제는 서로 다른 곳에 흩어져 있는 사실들을 하나로 엮어야 하는 복잡한 질문에 답하도록 기계를 가르치는 것입니다. 수천 권의 책이 있는 도서관에서 단서를 찾아 문제를 해결하려는 학생을 상상해 보십시오. 검색 증강 생성(retrieval-augmented generation)이라고 알려진 이 시스템은 먼저 관련 페이지를 검색한 다음, 작가에게 그 페이지들을 건네주어 답안을 작성하게 하는 사서와 같은 역할을 합니다. 이 방식은 정답이 단 하나의 문서 안에 숨겨져 있을 때는 잘 작동하지만, 한 권의 책에 있는 사실과 다른 책에 있는 사실을 연결해야 할 때는 종종 비틀거립니다. 문제는 단순히 적절한 페이지를 찾는 것만이 아니라, 시간과 주의력이 제한된 상황에서 어떤 페이지를 읽을지 결정하는 것입니다. 설령 올바른 정보가 발견되더라도, 그것이 긴 결과 목록 속에 파묻혀 작가의 책상까지 도달하지 못할 수도 있습니다. 이는 시스템이 필요한 지식을 갖추고 있음에도 불구하고, 가장 중요한 단서들이 너무 낮은 순위에 매겨져 보이지 않게 됨으로써 정보를 효과적으로 사용하지 못하는 병목 현상을 만듭니다.

광저우 소프트웨어 대학교의 연구진은 이미 찾아낸 정보를 더 잘 조직하고 선택하는 새로운 방법을 개발함으로써 이 구체적인 병목 현상을 해결했습니다. 더 많은 문서를 찾으려고 시도하는 일반적인 접근 방식 대신, 그들은 시스템이 이미 수집한 문서를 어떻게 더 잘 활용할 것인가에 집중했습니다. 그들은 시스템이 초기 발견물을 처리하는 방식을 개선하기 위해 2단계 프로세스를 구축했습니다. 첫 번째 단계는 잠재적 문서 목록을 재정렬하는 것입니다. 연구진은 어떤 문서가 단 하나의 검색 경로에서만 나타나기 때문에 순위가 낮게 매겨졌을 뿐 실제로는 매우 관련성이 높을 수 있는 반면, 덜 유용한 문서는 여러 경로에 등장하여 순위가 높게 매겨질 수 있다는 점에 주목했습니다. 그들이 '후보 증거 재순위화(candidate evidence reranking)'라고 부르는 이 새로운 시스템은 발견된 전체 문서 집합을 살펴보고, 질문과 얼마나 잘 일치하는지, 그리고 이야기의 논리적 구조에 얼마나 잘 부합하는지를 바탕으로 문서들을 재평가합니다. 이를 통해 가장 결정적인 증거 조각들이 목록의 상단으로 뛰어오를 수 있게 하여, 정답 생성기가 이를 반드시 읽을 수 있도록 보장합니다.

그들의 프로세스 중 두 번째 단계는 답변 자체에 초점을 맞춥니다. 시스템이 응답을 생성할 때, 서로 다른 검색 경로를 바탕으로 여러 가지 다른 버전의 답변을 만들어내는 경우가 많습니다. 흔한 본능은 다수가 옳을 것이라고 가정하며 단순히 가장 빈번하게 등장하는 답변을 선택하는 것입니다. 그러나 연구진은 이러한 접근 방식이 위험할 수 있다는 것을 발견했습니다. 일련의 검색 경로들이 모두 똑같은 실수를 저지를 수 있는 반면, 단 하나의 덜 흔한 경로가 더 나은 근거에 의해 뒷받침되는 정답을 보유하고 있을 수도 있기 때문입니다. 이를 해결하기 위해 그들은 '위험 인지 선택(risk-aware selection)' 시스템을 만들었습니다. 이 시스템은 현재의 최선책과 새로운 답변을 비교하는 신중한 편집자처럼 행동합니다. 이 시스템은 단순히 투표수를 세는 것이 아니라, 새로운 답변으로 교체하는 것이 결과를 개선할지 아니면 해를 끼칠지를 추정합니다. 또한 잠재적 이득이 결과를 악화시킬 위험보다 명확하게 클 경우에만 변경을 수용합니다.

연구팀은 다단계 추론을 요구하도록 설계된 세 가지 서로 다른 복잡한 질문 세트에 이 이중 계층 프레임워크를 테스트했습니다. 그들은 문서를 재정렬함으로써, 시스템이 이전보다 더 자주 올바른 뒷받침 정보를 상위 5위 안에 들여보낼 수 있음을 발견했습니다. 한 데이터 세트에서 이러한 문서 선택의 개선은 최종 답변의 정확도에서 눈에 띄는 향상으로 이어졌습니다. 문서 재순위화와 신중한 답변 선택을 결합했을 때, 결과는 더욱 향상되었습니다. 가장 까다로운 테스트에서, 완전한 시스템은 표준 방식에 비해 답변 정확도를 최대 4퍼센트 포인트까지 높였습니다. 이것이 작은 숫자처럼 들릴 수도 있지만, 복잡한 추론의 세계에서 이는 신뢰성의 중대한 변화를 의미합니다. 연구진은 또한 순위에 따라 목록을 병합하거나 단순히 다수결을 따르는 것과 같은 더 단순한 기술들과 그들의 방법을 비교했습니다. 그들은 이러한 단순한 방법들이 어려운 질문에 필요한 미묘한 차이를 포착하는 데 자주 실패하며, 때로는 군중을 맹목적으로 따름으로써 답변의 품질을 오히려 떨어뜨린다는 것을 발견했습니다.

이 연구의 핵심 통찰은 정보를 찾는 것이 전투의 절반일 뿐이며, 나머지 절반은 그것을 찾은 후에 무엇을 할지 결정하는 것이라는 점입니다. 연구진은 올바른 문서들이 시스템의 메모리에 존재하더라도 순위 최적화가 이루어지지 않으면 간과될 수 있음을 보여주었습니다. 마찬가지로, 여러 잠재적 답변이 있다고 해서 선택 과정이 오로지 인기에만 의존한다면 정답이 선택된다는 것을 보장할 수 없습니다. 증거의 조직과 답변의 선택을 별개의 결정적인 단계로 다룸으로써, 시스템은 서로 다른 출처를 가로질러 점들을 연결해야 하는 문제를 해결하는 데 훨씬 더 효과적이 됩니다. 이 연구는 인공지능의 추론 작업에 대한 미래의 개선이 더 많은 데이터를 찾는 것보다, 이미 사용 가능한 데이터를 더 똑똑한 방식으로 배열하고 선택하는 방법에 달려 있을 수 있음을 시사합니다. 이 접근 방식은 복잡한 현실 세계의 질문을 다룰 때 정확성과 신뢰성을 모두 갖춰야 하는 시스템을 위한 실질적인 길을 제시합니다.