When Context Misleads: Intent-Guided Decoding for Robust Retrieval-Augmented Generation

대규모 언어 모델은 학습 과정에서 암기한 방대한 양의 정보를 활용하여 이야기를 쓰고, 질문에 답하며, 문제를 해결할 수 있는 강력한 도구입니다. 그러나 이 모델들은 완벽하지 않습니다. 때때로 사실을 잊어버리거나, 그럴듯하게 들리지만 틀린 세부 사항을 지어내기도 합니다. 이를 해결하기 위해 연구자들은 검색 증강 생성(retrieval-augmented generation)이라 불리는 방법을 개발했습니다. 이 방식은 모델을 위한 사서처럼 작동합니다. 질문이 던져지면, 시스템은 먼저 외부 문서 데이터베이스를 검색하여 관련 근거를 찾은 다음, 그 근거를 질문과 함께 모델에 제공합니다. 이렇게 하면 모델이 이 신선한 정보를 사용하여 더 정확한 답변을 내놓을 것이라는 희망을 담고 있습니다. 하지만 이 시스템에는 숨겨진 결함이 있습니다. 때때로 시스템이 찾아낸 문서들이 오도하거나, 시대에 뒤처졌거나, 심지어 의도적으로 거짓된 것일 수도 있습니다. 만약 모델이 이러한 문서들을 맹목적으로 신뢰한다면, 그 오류를 그대로 반복하게 될 것입니다. 반대로, 모델이 외부 문서를 완전히 무시한다면, 유용한 정보를 놓치거나 제공된 텍스트에서 요구하는 구체적인 세부 사항이 필요한 질문에 답하지 못할 수도 있습니다. 핵심 과제는 언제 외부 근거를 신뢰하고, 언제 모델 자신의 내부 지식에 의존할지를 아는 것입니다.

시드니 대학교의 연구팀은 이 딜레마를 해결하기 위한 새로운 방법인 '의도 가이드 디코딩(Intent-Guided Decoding)'을 제안했습니다. 모델에게 항상 문서를 신뢰하거나 항상 무시하도록 강요하는 대신, 이들의 시스템은 결정 전략을 정하기 위해 사용자의 명시적인 지침에 의존합니다. 어떤 상황에서 사용자는 특정 보고서를 읽고 있으며, 보고서에 실수가 있더라도 그 보고서가 말하는 바에 엄격히 기반하여 답변하기를 원할 수 있습니다. 또 다른 상황에서 사용자는 일반적인 사실 확인 질문을 던지며, 오도하는 문서를 무시하고 진실을 따르기를 원할 수 있습니다. 연구진은 이러한 특정 지침에 적응하는 프레임워크를 구축했습니다. 이 방식은 모델이 동시에 세 가지 서로 다른 잠재적 답변을 생성하게 함으로써 작동합니다. 하나는 사용자의 원래 질문에 기반한 것, 하나는 제공된 문서에 엄격히 기반한 것, 그리고 하나는 오직 모델의 내부 기억에만 기반한 것입니다. 그런 다음 시스템은 이 세 가지 사고의 흐름을 비교합니다. 만약 문서와 내부 기억이 서로 충돌한다면, 시스템은 어떤 경로를 따를지 결정하기 위해 사용자의 지침을 확인합니다. 만약 사용자가 텍resent에 대한 엄격한 준수를 명시적으로 요청했다면, 시스템은 문서를 따르는 쪽으로 기울어집니다. 만약 사용자가 진실을 명시적으로 요청했다했다면, 시스템은 내부 기억을 따르는 쪽으로 기울어져 효과적으로 잘못된 정보를 걸러냅니다.

연구진은 다양한 질문과 다양한 유형의 언어 모델을 대상으로 이 접근 방식을 테스트했습니다. 그들은 제공된 문서가 올바른 시나리오와 의도적으로 틀린 시나리오를 모두 만들었습니다. 문서가 오도하는 경우, 문서를 맹목적으로 따르는 표준 시스템들은 종종 틀린 답을 내놓았습니다. 그러나 새로운 시스템은 갈등을 인식하고 내부 지식으로 전환하여 많은 사례에서 정답을 찾아낼 수 있었습니다. 오도하는 문서가 포함된 벤치마크에서, 이 새로운 방식은 표준 방식에 비해 정답의 정확도를 최대 65.4 퍼센트 포인트까지 향상시켰습니다. 결정적으로, 이러한 개선은 유용한 정보를 무시하는 대가를 치르며 이루어진 것이 아닙니다. 사용자가 제공된 텍스트를 따르라고 명시적으로 요청했을 때, 시스템은 텍스트가 올바른 경우에도 여전히 정확하게 이를 수행했습니다. 이는 시스템이 두 가지 상충하는 요구, 즉 소스 자료에 충실해야 할 때와 소스 자료를 신뢰할 수 없을 때 사실적으로 정확해야 한다는 요구 사이에서 성공적으로 균형을 잡고 있음을 시사합니다.

또한 이 연구는 모델에게 단순히 "주의하라"거나 "사실을 확인하라"고 말하는 것만으로는 잘못된 문서에 의해 현혹되는 것을 막기에 충분하지 않다는 것을 밝혀냈습니다. 연구진은 모델이 사용자의 의도에 따라 증거의 비중을 조절하는 구체적인 메커니즘이 갖춰지지 않으면 스스로를 교정하는 데 실패하는 경우가 많다는 것을 발견했습니다. 그들의 방법은 모델을 재학습시키거나 정보 검색 방식을 변경할 필요가 없습니다. 대신, 답변을 생성하는 최종 단계에서 스마트한 필터 역할을 합니다. 모델이 서로 다른 잠재적 답변에 대해 얼마나 확신하는지를 분석하고 문서의 신뢰성에 따라 영향력을 조절함으로써, 시스템은 미세한 조정을 수행할 수 있습니다. 예를 들어, 내부 기억은 매우 확신하고 있는 반면 문서는 불확실하다면, 시스템은 정답을 진실 쪽으로 부드럽게 유도합니다. 만약 문서가 강력하고 사용자가 그것을 따르기를 원한다면, 시스템은 문서가 답변을 이끌도록 허용합니다. 이러한 미묘한 접근 방식은 정답이 전적으로 사용자가 달성하고자 하는 바에 달려 있는 복잡한 상황을 모델이 다룰 수 있게 해줍니다.

궁극적으로, 이 연구는 언어 모델과 외부 지식 사이의 관계가 단순한 신뢰 혹은 불신의 문제가 아니라는 점을 강조합니다. 그것은 대화의 맥락에 따라 달라지는 역동적인 협상입니다. 연구진은 모델이 사용자의 의도를 인지하게 함으로써, 신뢰할 수 있으면서도 유연한 시스템을 만들 수 있다는 것을 입증했습니다. 이는 미래에 이러한 도구들이 텍스트를 따르는 것이 가장 중요한 엄격한 법률 문서 분석부터, 잘못된 정보의 방지가 우선인 일반 지식 질의에 이르기까지 더 유용하게 쓰일 수 있음을 의미합니다. 이 연구 결과는 인공지능의 미래가 단순히 모델을 더 똑똑하게 만드는 것뿐만 아니라, 언제 듣고 언제 스스로 말해야 하는지를 더 잘 이해하게 만드는 데 달려 있음을 시사합니다.