인류 지식의 방대한 디지털 도서관에서 대규모 언어 모델은 답을 찾는 강력한 도구가 되었습니다. 방대한 양의 텍스트로 학습된 이 시스템들은 거의 모든 질문에 대해 유창한 응답을 생성할 수 있습니다. 그러나 특정 장소를 인물의 전기와 연결하는 것처럼, 중간의 세부 정보를 통한 연결 고리를 통해 사실들을 엮어내야 하는 질문에는 때때로 어려움을 겪습니다. 이를 해결하기 위해 연구자들은 검색 증강 생성(retrieval-augmented generation)이라는 방법을 개발했습니다. 이 방식은 모델이 생각을 잠시 멈추고, 데이터베이스를 검색하여 관련 문서를 찾은 뒤, 그 신선한 사실들을 사용하여 답변을 구축하도록 허용합니다. 이는 학생이 기억력에만 의존하는 대신 시험을 치르는 동안 참고할 교과서를 주는 것과 같습니다.

문제는 답변이 여러 단계를 필요로 할 때 발생합니다. 단순한 검색은 이름이 언급된 문서는 찾을 수 있지만, 퍼즐을 풀기 위해 필요한 구체적인 사실은 찾지 못할 수 있습니다. 그러면 모델은 후속 질문을 던지고, 또 다른 문서를 찾고, 그 둘을 연결해야 합니다. 컴퓨터에게 이러한 다단계 검색을 가르치려는 최근의 시도들은 컴퓨터가 최종 정답을 맞혔을 때만 보상을 주는 학습 방법에 의존해 왔습니다. 이는 숨겨진 문제를 만듭니다. 컴퓨터가 실제 정답을 증명하는 특정 문서들을 실제로 찾아내지 못한 채, 운 좋게 정답을 맞히거나 이미 알고 있던 사실을 사용하여 정답을 추측할 수 있기 때문입니다. 이는 컴퓨터가 의도된 과정을 배우는 대신 과정을 우회하는 법을 배우게 만듭니다.

한 연구팀은 이 문제를 해결하기 위해 GTA-RAG라는 새로운 프레임워크를 도입했습니다. 최종 답변이 맞는지 확인하고 기다리는 대신, 그들은 컴퓨터가 과정 중에 올바른 증거를 찾는 것에 보상을 주도록 설계했습니다. 그들은 지식 베이스의 지도를 구축하여 문서들을 그 안에 언급된 사람, 장소, 사물들과 연결했습니다. 이 지도로부터 그들은 정답으로 가는 경로가 명확히 정의된 수천 개의 연습 문제를 만들었습니다. 그런 다음 그들은 컴퓨터가 이 경로를 따르도록 훈련시켰으며, 새로운 퍼즐 조각을 성공적으로 찾아낼 때마다 보상을 주었습니다. 이 방법은 컴퓨터가 단순히 최종 결과를 추측하는 것이 아니라, 자신에게 필요한 구체적인 문서를 찾아내는 법을 배우도록 보장합니다.

연구진은 여러 사실을 연결해야 하는 다양한 어려운 질문들을 대상으로 이 접근 방식을 테스트했습니다. 그들은 이 새로운 시스템을 기존의 "정답 전용" 보상 시스템으로 훈련된 다른 고급 방법들과 비교했습니다. 결과는 명확한 차이를 보여주었습니다. 새로운 방법을 사용했을 때, 컴퓨터는 답변을 뒷받침하는 데 필요한 전체 증거의 사슬을 찾는 능력이 현저히 향상되었습니다. 복잡한 다단계 질문이 포함된 테스트에서, 이 시스템은 필요한 증거를 찾아내는 커버리지 비율이 기존 방식의 약 68%에 비해 82% 이상에 달할 정도로 중요한 폭으로 개선되었습니다.

결정적으로, 연구는 이러한 개선이 컴퓨터가 더 많은 검색 시도를 하거나 막다른 길에서 시간을 낭비함으로써 온 것이 아님을 발견했습니다. 사실, 새 시스템은 더 적은 검색으로도 올바른 정보를 찾아냈습니다. 그것은 각 단계에서 어떤 문서를 찾아야 할지 정확히 알며 더 정밀해지는 법을 배웠습니다. 또한 연구진은 컴퓨터가 연습 문제를 단순히 암기하고 있는 것이 아님을 확인했습니다. 새로운 미학습 질문들에 대해 테스트했을 때도 성능이 계속 우수하게 나타났으며, 이는 컴퓨터가 증거를 수집하는 기술을 진정으로 학습했음을 입증했습니다. 이 시스템은 컴퓨터의 크기가 작아도 잘 작동했는데, 이는 학습 방법이 그 뒤에 있는 '두뇌'의 크기보다 더 중요하다는 것을 시사합니다.

가장 중요한 발견 중 หนึ่ง은 시스템이 지름길을 택하는 것을 멈췄다는 점입니다. 이전의 훈련 방식에서는 컴퓨터가 가장 중요한 문서를 무시했음에도 불구하고, 단순히 정답을 맞혔다는 이유로 정답에 도달하는 경우가 있었습니다. 새로운 훈련 방식은 전체 증거의 사슬을 검색하지 않고는 높은 점수를 받는 것을 불가능하게 만들었습니다. 연구진은 컴퓨터가 사실에 훨씬 더 충실해졌으며, 모든 답변이 실제로 찾아낸 문서에 의해 뒷받침되도록 보장한다는 것을 관찰했습니다. 이러한 추측에서 증거 기반 추론으로의 전환은 신뢰성과 정확성이 필요한 인공지능을 향한 중요한 진전입니다.

이 접근 방식의 성공은 문서들이 포함하고 있는 엔티티(entity)들과 연결된 특정 유형의 지도에 달려 있습니다. 연구진은 문서들을 읽고 "토머스 제퍼슨은 몬티첼로에 살았다"와 같은 사실들을 추출하여 이 지도를 구축했습니다. 그런 다음 이 지도를 사용하여 정답이 문서를 통한 특정 경로를 따라가는 데 의존하는 연습 문제들을 생성했습니다. 연습 문제를 사용하여 컴퓨터를 훈련시키기 전에, 연구진은 컴퓨터가 찾아야 할 문서를 실제로 찾을 수 있는지 확인하는 검사를 수행했습니다. 만약 컴퓨터가 이 검사 과정에서 문서를 찾는 데 실패하면, 해당 연습 문제는 폐기되었습니다. 이 검증 단계는 훈련이 현실적이고 달성 가능한 과제에 기반하도록 보장했습니다.

연구진은 단순한 사실적 질의부터 3단계 이상의 추론이 필요한 복잡한 퍼즐에 이르기까지 다섯 가지 서로 다른 질문 세트를 테스트했습니다. 단순한 질문에서 새 시스템은 기존의 최고 방법들과 대등한 성능을 보였습니다. 그러나 복잡한 다단계 질문에서는 기존 방식들을 크게 앞질렀습니다. 예를 들어, 어려운 멀티홉(multi-hop) 질문으로 알려진 HotpotQA 데이터셋에서 새 시스템은 52.9의 점수를 기록하며 기존의 최선인 RL 기반 방식을 명확한 차이로 제쳤습니다. 이 격차는 시스템이 다른 복잡한 데이터셋에서 테스트되었을 때도 더 커졌으며, 이는 개선 효과가 다양한 유형의 어려운 문제들에서 일관되게 나타남을 증명했습니다.

연구는 또한 그들의 새로운 시스템에서 특정 부분을 제거했을 때 어떤 일이 발생하는지 조사했습니다. 과정 중에 증거를 찾는 것에 대한 보상을 멈추고 최종 답변에만 보상을 주었을 때, 전체 문서 사슬을 찾는 컴퓨터의 능력은 급격히 떨어졌습니다. 이는 새로운 보상 체계가 개선의 핵심 동력이었음을 확인시켜 주었습니다. 마찬가지로, 문서가 실제로 검색 가능한지 확인하는 단계를 제거했을 때 성능이 하락했으며, 이는 검증 과정이 고품질의 훈련 데이터를 만드는 데 필수적이었음을 보여주었습니다. 이러한 테스트들은 전체 프레임워크가 효과적인 학습자를 만들기 위해 함께 작동한다는 것을 입증했습니다.

이 작업은 컴퓨터에게 정보를 찾는 법을 가르치는 방식이 정보 그 자체만큼 중요하다는 것을 시사합니다. 단순히 최종 결과를 판단하는 대신, 증거를 찾는 방법에 대한 명확하고 단계적인 안내를 제공함으로써 연구자들은 모델이 더 신뢰할 수 있고 정확하게 훈련될 수 있습니다. 이 시스템은 컴퓨터가 방대한 양의 내부 지식을 갖추는 것에 의존하지 않고, 대신 외부 도구를 효과적으로 사용하는 법을 가르칩니다. 이는 오답이 심각한 결과를 초래할 수 있는 의료 진단이나 법률 연구와 같이 정확도가 매우 중요한 응용 분야에서 특히 중요합니다.

연구진은 자신들의 방법이 구축한 지도의 품질에 의존한다는 점을 인정합니다. 만약 지도가 불완전하거나 오류를 포함하고 있다면, 컴퓨터는 올바른 경로를 학습할 수 없을 것입니다. 또한 그들은 자신들의 실험이 오픈 도메인 질문에 집중되어 있으며, 이 접근 방식이 더 전문적인 분야나 다른 유형의 데이터에서 얼마나 잘 작동할지는 여전히 미지수라고 언급했습니다. 그러나 지금까지의 결과는 유망하며, 구조화된 접근 방식이 인공지능이 복잡한 추론 과제를 처리하는 방식을 어떻게 크게 개선할 수 있는지 보여줍니다.

결국, 이 연구는 컴퓨터에게 연구자처럼 생각하는 법을 가르치는 것이 가능하다는 것을 보여줍니다. 결론뿐만 아니라 증거를 수집하는 과정을 보상함으로써, 시스템은 철저하고 정밀해지는 법을 배웁니다. 그것은 추측을 멈추고 검증을 시작합니다. 이러한 변화는 확률에만 기반한 답변이 아닌, 사실이라는 견고한 토대 위에 답변을 구축하는, 더 신뢰할 수 있는 인공지능을 향한 움직임을 나타냅니다. 연구진은 자신들의 코드를 공개하여 다른 이들이 이 작업을 바탕으로 기계가 세상의 지식과 상호작용하는 방식을 더욱 정교하게 발전시킬 수 있도록 했습니다.