Building Open-Retrieval Conversational Question Answering Systems by Generating Synthetic Data and Decontextualizing User Questions

거대한, 먼지 쌓인 도서관에서 특정 사실을 찾으려고 노력 중이라고 상상해 보세요. 하지만 당신은 도서관의 구조를 전혀 모르는 사서와 대화하고 있습니다. 만약 당신이 "그것은 얼마인가요?"라고 묻는다면, 사서는 "그것"이 무엇인지 모르기 때문에 당황할 것입니다. 이것이 바로 **대화형 질의응답(Conversational Question Answering)**의 핵심 문제입니다. 인간은 "그것", "저것", "그(he)"와 같은 단어를 사용하여 생략된 표현으로 말하며, 이는 방금 우리가 무엇에 대해 이야기했는지를 기억해야만 의미가 통합니다. 이를 해결하기 위해 컴퓨터는 **검색 증강 생성(Retrieval-Augmented Generation, RAG)**이라는 기술을 사용합니다. RAG를 사서에게 답변하기 전에 도서관에서 올바른 페이지를 즉시 찾아낼 수 있는 마법의 돋보기를 쥐여주는 것이라고 생각하세요. 하지만 여기에는 함정이 있습니다. 사서는 그 돋보기에 질문을 어떻게 명확하게 던져야 하는지 알아야 하며, 이를 배우기 위한 엄청난 양의 연습 대화가 필요합니다.

문제는 새로운 주제(예: 특정 보험사의 규칙이나 새로운 소프트웨어 매뉴얼)의 경우, 아무도 수천 개의 연습 대화를 미리 작성해 두지 않는다는 점입니다. 사람을 고용해 이를 작성하는 것은 느리고, 비용이 많이 들며, 지루한 일입니다. 이 논문은 바로 그 골칫거리를 다룹니다. 저자들은 기업이 이미 보유하고 있는 가공되지 않은 문서만을 사용하여 이러한 AI 사서를 위한 "훈련 체육관"을 구축하는 영리한 방법을 제안합니다. 그들은 단순히 문장을 복사해서 붙여넣는 것이 아니라, 먼저 문서를 작고 명확한 "사실 카드(fact cards)"(그들은 이를 **명제(propositions)**라고 부릅니다)로 분해합니다. 그런 다음, 매우 똑똑한 AI를 사용하여 해당 카드에 대해 인간이 무엇을 물어볼지 상상하게 하여, 가짜이지만 현실적인 대화를 만들어냅니다. 그들은 문서를 혼란스러운 문장 그대로 사용하는 것보다, 이처럼 문서를 깨끗한 사실 카드로 만들고 합성 대화를 생성하는 것이 AI 사서가 정답을 찾는 데 훨씬 더 효과적이라는 것을 발견했습니다.

합성 대화 공장의 이야기

그렇다면 실제 인간의 대화가 수백만 개가 없을 때, 로봇에게 훌질한 대화법을 어떻게 가르칠 수 있을까요? 이 논문의 저자들은 지루한 문서를 흥미롭고 현실적인 연습 대화로 바꾸는 2단계 조립 라인을 구축했습니다.

1단계: 사실 카드 공장
새로운 비디오 게임의 두꺼운 설명서를 가지고 있다고 상상해 보세요. 그 안에는 "컨트롤러를 잡은 상태에서 빨간 버튼을 누르면 캐릭터가 점프하지만, 배터리가 낮을 때만 가능합니다"와 같이 길고 복잡한 문장들이 가득합니다. 이는 검색 엔진에게 악몽과 같습니다. 저자들의 파이프라인은 먼저 이 문서들을 가져와 강력한 AI(그들은 Claude 3.5라는 모델을 사용했습니다)에게 분석을 요청합니다. AI는 꼼꼼한 편집자처럼 행동하여 긴 문장을 짧고 독립적인 "사실 카드"로 쪼갭니다. AI는 "그것"이나 "저것"과 같은 혼란스러운 참조를 제거하고, 모든 카드가 완전하고 자립적인 생각이 되도록 보장합니다.
결정적으로, AI는 인간이 실제로 궁금해할 만한 내용에 대해서만 카드를 만들도록 지시받습니다. "문의처: 555-0199"와 같이 누군가 실제로 물어볼 법하지 않은 지루한 부분은 무시합니다. 그들은 보유한 문서들로부터 기업의 프라이빗 데이터에 대해 11,000개 이상의 사실 카드를, 공공 정부 문서에 대해 14,000개 이상의 사실 카드를 생성했습니다. 이 카드들은 AI 사서가 궁극적으로 검색하게 될 "진실"이 됩니다.

2단계: 대화 시뮬레이터
이제 사실 카드가 쌓였으므로, 파이프라인은 AI에게 대화를 상상하도록 요청합니다. AI는 이 카드 중 소그룹을 선택하여 "사람이 이 사실들에 대해 질문하고 있다고 가정하라"고 명령받습니다. 그러면 AI는 주고받는 채팅을 생성합니다. 여기서 마법 같은 기술이 등장합니다. "인간"이 질문을 할 때마다, AI는 두 가지 버전을 작성합니다.

1. 실제 인간 버전: 이는 사람이 실제로 말하는 방식이며, 생략된 표현이 가득합니다. 예를 들어, 앞서 언급된 내용을 바탕으로 "그것은 얼마인가요?"라고 묻는 식입니다.
2. 명확한 버전: 이는 질문을 그 자체로 완벽하게 이해되도록 다시 쓴 것입니다. 예: "보험 정책의 가격은 얼마인가요?"
   또한 시스템은 각 질문에 답하기 위해 어떤 사실 카드가 사용되었는지 정확히 추적합니다. 이를 통해 컴퓨터가 혼란스러운 질문, 명확한 버전, 정답, 그리고 출처를 모두 알 수 있는 완벽한 훈련 데이터셋이 만들어집니다.

왜 "사실 카드"가 "원문 문장"보다 나은가

저자들은 단순히 대화를 만들어내는 것에 그치지 않고, 하나의 큰 가설을 테스트했습니다. 그들은 AI를 훈련할 때 이 깨끗한 "사실 카드"를 사용하는 것이 나은지, 아니면 원래 문서를 문장 단위로 잘라서 사용하는 것이 나은지 알고 싶었습니다.

그것을 건초더미에서 바늘을 찾는 것에 비유해 봅시다. 원문 문장을 사용한다면, 건초더미에는 불필요한 짚(관련 없는 단어, 긴 설명, 혼란스러운 맥락)이 가득할 것입니다. 만약 사실 카드를 사용한다면, 이미 짚을 모두 골라내고 바늘만 남겨둔 상태가 됩니다.
이 실험을 진행했을 때 결과는 명확했습니다. 깨끗한 사실 카드로 구축된 대화가 훨씬 더 나은 검색 결과를 이끌어냈습니다. AI는 훨씬 더 빠르고 정확하게 올바른 정보를 찾아낼 수 있었습니다. 반면, 원문 문장을 사용하는 것은 짚들이 서로 달라붙어 있는 건초더미에서 바늘을 찾는 것과 같았습니다. 검색 엔진은 노이즈 때문에 혼란을 겪었습니다. 저자들은 원문 문장이 대화의 흐름을 유지하는 데는 괜찮을지 몰라도, AI가 실제로 정답을 '찾는' 데는 최악이라는 것을 발견했습니다.

로봇이 스스로 생각하도록 가르치기

이러한 수천 개의 합성 대화가 준비되면, 이들을 사용하여 "경량화된" AI 모델을 훈련시킵나다. 이 모델들은 데이터를 생성하는 데 사용된 거대하고 강력한 AI에 비해 더 작고, 빠르며, 저렴한 컴퓨터 모델입니다.
그들은 두 종류의 조력자를 훈련시켰습니다:

1. 재작성기(The Rewriter): 맥락이 많이 포함된 혼란스러운 질문("그것은 얼마인가요?")을 받아 명확한 질문("보험료는 얼마인가요?")으로 바꾸는 법을 배우는 작은 모델입니다.
2. 검색기(The Retriever): 명확한 질문을 보고 도서관에서 올바른 사실 카드를 즉시 찾아내는 법을 배우는 작은 모델입니다.

결과는 인상적이었습니다. 이 작고 저렴한 모델들은 매번 거대하고 비싼 AI를 사용하여 질문을 재작성하는 것만큼이나 잘 수행했습니다. 실제로 일부 테스트에서는, 그들의 합성 데이터로 훈련된 작은 모델이 구하기 어려운 방대한 인간 작성 데이터셋으로 훈련된 모델보다 더 뛰어난 성능을 보이기도 했습니다.

또한 그들은 유용한 지름길을 발견했습니다. 그들은 재작성기가 질문이 이미 명확한지 확인하도록 가르쳤습니다. 만약 사용자가 "보험 정책의 가격은 얼마입니까?"(이미 명확함)라고 질문한다면, 재작성기는 "재작성 불필요"라고 말하며 단계를 건너뛰도록 학습했습니다. 이는 처리 시간을 절반으로 줄여 시간을 절약해 주었습니다.

실제 환경에서도 작동하는가?

이 방법이 가짜 데이터에서만 작동하는 것이 아님을 증명하기 위해, 그들은 정부 웹사이트(보험 및 학생 지원 관련)의 실제 데이터셋으로 시스템을 테스트했습니다. 그들은 이 방법이 처음부터 작동할 수 있음을 증명하기 위해 이 실제 데이터셋에 포함된 인간 작성 훈련 데이터를 모두 제외했습니다.
결과는 성공적이었습니다. 그들이 생성한 합성 대화만으로 훈련된 작은 모델들은, 단순히 혼란스러운 질문을 그대로 사용했을 때보다 실제 문서에서 정답을 훨씬 더 잘 찾아냈습니다. 거대 AI를 실시간으로 사용하여 질문을 재작성하는 것이 약간 더 나은 성능을 보였지만, 훨씬 더 느리고 비쌌습니다. 그들의 작은 훈련 모델은 빠르고, 저렴하며, 매우 정확하다는 최적의 균형점을 제공했습니다.

결론

이 논문은 우리가 스마트한 AI 어시스턴트를 만들기 위해 완벽한 대화 수백만 개를 인간이 직접 작성할 때까지 기다릴 필요가 없음을 시사합니다. 대신, 우리가 이미 가진 문서를 가져와서, 이를 작고 깨끗한 사실로 나누고, 강력한 AI가 대화를 상 imagine(상상)하게 하면 됩니다. 이 합성 데이터는 작은 모델들을 효과적으로 훈련시켜 실제 질문을 처리할 수 있게 만드는 데 충분합니다.

하지만 저자들은 이것이 만능 열쇠는 아니라는 점을 주의 깊게 언급합니다. 그들의 시스템은 여전히 초기 훈련 데이터를 생성하기 위해 크고 비싼 AI에 의존합니다. 또한 작은 모델들이 정답을 찾는 데는 뛰어나지만, 최종 답변을 사용자에게 작성하여 전달할 때는 여전히 거대 AI의 도움이 필요합니다. 그러나 문서의 바다 속에서 올바른 정보를 찾아내는 어려운 작업에 있어서, 이 "합성 공장" 접근 방식은 인간의 주석 작업 없이도 복잡한 매뉴얼을 명확하고 검색 가능한 지식으로 바꾸는 게임 체인저가 될 것으로 보입니다.