Bridging the Question-Answer Gap in Retrieval-Augmented Generation: Hypothetical Prompt Embeddings

거대한, 엉망진창인 건초더미 속에서 특정한 바늘 하나를 찾으려 한다고 상상해 보세요. 하지만 여기 반전이 있습니다. 건초더미는 격식 있고 지루한 언어로 쓰인 백과사전 항목들로 만들어져 있는데, 당신의 바늘을 찾는 요청은 호기심 많은 십 대가 외치는 듯한 격앙되고 흥분된 질문입니다. 이것이 바로 **검색 증강 생성(Retrieval-Augmented Generation, RAG)**이 매일 겪는 고충입니다. RAG를 자신의 기억(구식이거나 가짜일 수 있는)에 의존해 답을 추측하는 것이 아니라, 답변하기 전에 실제 문서를 찾기 위해 먼저 도서관 선반으로 달려가는 똑똑한 로봇 사서라고 생각해보세요. 문제는 로봇이 종종 혼란에 빠진다는 점인데, 사람들이 질문하는 방식(질문형, 예: "화산은 어떻게 작동하나요?")과 책이 사실을 전달하는 방식(평서문, 예: "화산은 ~에 의해 형성됩니다...")이 완전히 다르기 때문입니다. 이 불일치는 마치 정사각형 구멍에 둥근 말뚝을 끼우려는 것과 같습니다. 로봇의 검색 도구는 질문의 "모양"과 텍text의 "모양"이 일치하지 않기 때문에 적절한 책을 놓치곤 합니다.

이를 해결하기 위해 과학자들은 다양한 기술을 시도해 왔습니다. HyDE라고 불리는 한 가지 인기 있는 방법은 로봇에게 도서관에 가기 전에 질문에 대해 미리 답하는 척하도록 시키는 것입니다. 로봇은 가짜 답변을 생성하고, 그것을 검색 쿼리로 변환하며, 도서관이 진짜 책을 찾기를 기대합니다. 하지만 로봇이 질문이 들어올 때마다 매번 이 "척하는" 작업을 해야 하기 때문에 이는 느리고 비용이 많이 듭니다. 여러분이 읽게 될 논문은 **가설적 프롬프트 임베딩(Hypothetical Prompt Embeddings, HyPE)**이라는 새로운 아이디어를 소개합니다. HyPE는 질문이 들어올 때마다 로봇이 가짜 답변을 만들게 하는 대신, 누군가 질문을 하기도 전에 모든 "척하는" 작업을 미리 해두는 것을 제안합니다. 이것은 책이 답할 수 있는 모든 가능한 질문의 목록을 미리 작성하여 도서관의 책 등에 붙여두는 것과 같습니다. 이제 실제 질문이 들어오면, 로봇은 단순히 질문 대 질문으로 매칭하면 됩니다. 이는 훨씬 더 빠르고 종종 훨씬 더 정확합니다.

문제점: "스타일 격차"

AI의 세계에는 "스타일 격차"라고 알려진 지속적인 골칫거리가 있습니다. 컴퓨터에 질문을 할 때, 여러분은 보통 "프랑스의 수도는 어디인가요?"와 같이 질문 형식으로 씁니다. 하지만 컴퓨터가 검색하는 문서는 보통 "프랑스의 수도는 파리입니다"와 같이 진술 형식으로 작성되어 있습니다.

사람이 많은 방에서 친구를 찾는 장면을 상상해 보세요. 당신은 빨간 모자를 쓴 사람(질문)을 찾고 있지만, 방 안의 모든 사람은 파란 정장(문서)을 입고 있습니다. 설령 당신의 친구가 바로 그 자리에 있더라도, 당신이 찾는 "스타일"의 옷이 다르기 때문에 검색에 실패할 수 있습니다. 기술적인 용어로 말하자면, 텍스트 간의 유사성을 측정하기 위해 수학을 사용하는 컴퓨터의 검색 엔진은 두 텍스트의 소리가 너무 다르기 때문에 질문과 답변을 연결하는 데 실패하곤 합니다.

기존의 해결책: "가짜 답변" 기술

연구자들은 이 문제를 HyDE(Hypothetical Document Embeddings)라는 방법으로 해결하려고 시도했습니다. 아이디어는 영리했습니다. 사용자가 질문을 하면 AI가 즉석에서 짧은 가짜 답변을 생성하는 것입니다. 그런 다음 그 가짜 답변을 사용하여 도서관을 검색합니다. 가짜 답변은 실제 문서와 유사한 형태(둘 다 평서문)를 띠고 있으므로 검색이 더 잘 됩니다.

하지만 이 접근 방식에는 큰 단점이 있습니다. 이는 누군가 문을 열고 들어올 때마다 사서에게 가짜 책 요약본을 쓰라고 요청하는 것과 같습니다. 질문이 들어올 때마다 추가적인 시간과 비용(컴퓨팅 파워)이 소요됩니다. 도서관이 붐비면 이로 인해 모든 것이 느려집니다.

새로운 해결책: HyPE ("미리 작성된 질문" 전략)

이 논문의 저자들은 **가설적 프롬프트 임베딩(HyPE)**이라는 더 스마트한 방법을 제 제안합니다. 사용자가 질문을 할 때까지 기다려 가짜 답변을 생성하는 대신, HyPE는 "인덱싱" 단계(도서관을 정리하는 단계)에서 미리 힘든 작업을 수행합니다.

HyPE의 단계별 작동 방식은 다음과 같습니다:

1. 오프라인 파티: 사용자가 도착하기 전, 시스템은 도서관의 모든 텍스트 덩어리(모든 문서)를 가져와 AI에게 묻습니다: "이 특정 텍스트가 답할 수 있는 서로 다른 질문 5개 또는 10개는 무엇인가?"
2. 라벨링: 시스템은 그런 가설적 질문들을 수학적 "지문"(임베딩)으로 변환하여 문서에 붙입니다.
3. 매칭: 이제 도서관에는 단순한 텍스트뿐만 아니라, 그 텍스트에 부착된 잠재적 질문 목록이 존재하게 됩니다.
4. 검색: 실제 사용자가 질문을 던지면, 시스템은 사용자의 질문을 문서에 미리 작성된 질문들과 단순히 비교합니다. 이는 질문 대 질문 매칭이며, 양쪽 모두 질문을 던지는 형태이므로 완벽하게 일치합니다.

가장 좋은 점은 무엇일까요? 이 작업은 오프라인에서 이루어집니다. 도서관이 정리되면, 사용자가 질문을 할 때 시스템은 추가적인 생각을 할 필요가 없습니다. 그저 빠르고 표준적인 검색을 수행할 뿐입니다.

연구 결과: 속도와 정확도

연구진은 일반적인 웹 검색부터 복잡한 다단계 추론 작업에 이르는 6개의 데이터셋을 사용하여 HyPE를 표준 방식 및 "HyDE"(실시간 가짜 답변 생성) 방식과 비교 테스트했습니다.

결과는 매우 유망했습니다:

• 정밀도 향 향상: HyPE는 표준 방식에 비해 적절한 컨텍스트를 찾는 정밀도를 최대 42 퍼센트 포인트 개선했습니다. 간단히 말해, 시스템이 처음부터 정확한 문서를 선택하는 능력이 훨씬 좋아졌습니다.
• 재현율 향상: HyPE는 "클레임 재현율"(필요한 모든 정보를 찾는 능력)을 최대 45 퍼센트 포인트 개선했습니다.
• 지연 시간 없음: 질문이 던져질 때마다 시스템을 느리게 만드는 HyDE와 달리, HyPE는 사용자 대기 시간에 추가 시간을 전혀 소요하지 않습니다. 무거운 작업은 사전에 완료되었습니다.

흥미롭게도, 논문은 HyPE가 MS MARCO라는 특정 데이터셋에서는 압도적인 우위를 보이지 못했다고 언급했습니다. 저자들은 MS MARCO 데이터셋이 이미 질문과 답변 스타일이 매우 유사한 아주 짧고 직접적인 구절들로 구성되어 있어, "스타일 격차"가 처음부터 큰 문제가 되지 않았기 때문이라고 설명합니다. 하지만 다른 대부분의 데이터셋, 특히 더 길고 복잡한 텍스트가 포함된 경우 HyPE는 명확한 승자였습니다.

이것이 중요한 이유

이 논문은 HyPE가 유연한 업그레이드임을 시사합니다. 이는 다른 멋진 기술들을 대체하는 것이 아니라, 그것들과 함께 작동합니다. 여러분은 HyPE를 리랭킹(결과를 다시 확인하는 과정)이나 복잡한 질문을 작은 부분으로 나누는 것과 같은 다른 고급 검색 기술과 병행하여 사용할 수 있습니다.

저자들은 질문의 순간에서 "척하는" 작업을 조직의 순간으로 옮김으로써, 더 빠르고 정확한 RAG 시스템을 구축할 수 있다고 결론짓습니다. 이는 "질문 대 문서" 매칭에서 "질문 대 질문" 매칭으로의 전환이며, 우리가 질문하는 방식과 정보가 저장되는 방식 사이의 간극을 메우는 것입니다. 이 논문이 AI의 모든 문제를 해결한다고 주장하는 것은 아니지만, 실험 결과는 HyPE가 AI 사서들이 업무를 훨씬 더 잘 수행할 수 있게 만드는 매우 효과적이고 비용 효율적인 방법임을 강력하게 시사합니다.