💬 NLP

BERAG: Bayesian Ensemble Retrieval-Augmented Generation for Knowledge-based Visual Question Answering

이 논문은 검색 증강 생성(RAG) 시 문서를 하나로 합치는 대신 베이즈 정리(Bayes' rule)를 이용해 개별 문서의 확률적 기여도를 토큰 단위로 업데이트함으로써, 'lost-in-the-middle' 현상을 완화하고 지식 기반 시각적 질의응답(KVQA) 성능을 높이는 BERAG 프레임워크를 제안합니다.

원저자: Jinghong Chen, Jingbiao Mei, Guangyu Yang, Bill Byrne

게시일 2026-04-27

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jinghong Chen, Jingbiao Mei, Guangyu Yang, Bill Byrne

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 기존 방식 (ConcatRAG): "두꺼운 백과사전 통째로 읽기"

지금까지 AI가 질문에 답할 때 자료를 찾는 방식은 이랬습니다. 질문과 관련된 여러 개의 문서(자료)를 가져와서, 하나의 아주 긴 종이에 다 이어 붙인 뒤 AI에게 "자, 여기 이 긴 글을 다 읽고 답해봐!"라고 시키는 방식이었죠.

이 방식에는 두 가지 큰 문제점이 있었습니다:

"중간은 까먹어" (Lost-in-the-middle): 사람이 아주 긴 책을 읽을 때 앞부분과 뒷부분은 기억나지만, 중간 내용은 대충 넘기게 되는 것과 같습니다. AI도 자료가 너무 길어지면 중간에 있는 중요한 정보를 놓치곤 합니다.
"너무 무거워" (Scaling issue): 자료가 많아질수록 종이가 너무 길어져서, AI가 읽어야 할 양이 기하급수적으로 늘어납니다. 컴퓨터 메모리도 엄청나게 잡아먹고 속도도 느려지죠.

2. 새로운 방식 (BERAG): "여러 명의 전문가에게 개별적으로 물어보기"

연구팀이 제안한 BERAG는 방식이 완전히 다릅니다. 자료를 하나로 합치지 않습니다. 대신, 각 자료를 각각의 '전문가'에게 맡기는 방식입니다.

비유를 들어볼까요?
여러분이 "세종대왕이 만든 발명품이 뭐야?"라고 물었습니다.

기존 방식: 수십 권의 역사책을 한 권의 거대한 책으로 묶어서 한 명의 학생에게 주고 "이걸 다 읽고 답해!"라고 하는 것입니다. 학생은 너무 양이 많아 중간 내용을 까먹거나 힘들어합니다.
BERAG 방식: 50명의 역사 전문가를 모읍니다. 그리고 각 전문가에게 딱 한 권의 책씩만 주고 "이 책을 보고 답해봐"라고 시킵니다.
- 이때, 전문가들이 답을 내놓으면 AI는 **'베이지안(Bayesian)'**이라는 수학적 계산법을 사용해 각 전문가의 말을 얼마나 믿을지 결정합니다.
- 만약 1번 전문가가 "측우기야!"라고 말하고, 2번 전문가가 "모르겠어"라고 한다면, AI는 "오, 1번 전문가의 말이 맞을 확률이 높군!"이라며 1번의 의견에 더 큰 무게를 둡니다. 이를 **'확률적 가중치'**라고 합니다.

3. 이 기술이 왜 대단한가요? (주요 장점)

중간 내용을 놓치지 않음: 자료를 하나씩 따로 보기 때문에, 자료가 어디에 있든 상관없이 정확하게 읽어냅니다. (위의 비유에서 전문가가 책의 어느 페이지를 보든 상관없는 것과 같습니다.)
똑똑한 거절 (Deflection): 만약 가져온 자료들이 질문과 전혀 상관없는 내용이라면, AI는 "이 자료들에는 답이 없는데요?"라고 당당하게 말할 수 있습니다. 기존 AI들은 억지로 답을 지어내려다 '환각(Hallucination)' 현상을 일으키곤 했죠.
속도가 더 빠를 수도 있음 (Pruning): 처음에는 모든 전문가의 의견을 듣지만, 답변을 생성하다가 "아, 5번과 10번 전문가만 있으면 충분하겠네!"라고 판단되면 나머지 전문가들은 더 이상 시키지 않습니다. 이를 통해 오히려 기존 방식보다 더 빠르게 답을 낼 수 있습니다.
이미지도 잘 봄 (Multi-modal): 글자뿐만 아니라 사진이나 슬라이드 같은 시각 정보가 포함된 복잡한 질문에도 아주 강력한 성능을 보여줍니다.

요약하자면...

이 논문은 **"방대한 자료를 한꺼번에 쑤셔 넣어서 AI를 혼란스럽게 만드는 대신, 자료별로 전문가를 두고 그들의 의견을 확률적으로 종합하는 것이 훨씬 정확하고 효율적이다"**라는 것을 증명한 연구입니다.

[기술 요약] BERAG: 지식 기반 시각적 질의응답을 위한 베이지안 앙상블 RAG

1. 문제 정의 (Problem Statement)

현재 표준적으로 사용되는 연결형 RAG (Concatenative RAG, ConcatRAG) 방식은 검색된 여러 문서를 하나의 긴 컨텍스트로 이어 붙여 언어 모델(LLM)에 전달합니다. 이 방식은 다음과 같은 치명적인 한계를 가집니다:

확장성 문제 (Poor Scaling): 컨텍스트 길이가 길어질수록 어텐션(Attention) 비용이 제곱으로 증가하며, 특히 시각 데이터가 포함된 경우 메모리(KV Cache) 부담이 매우 커집니다.
정보 손실 (Lost-in-the-Middle): 모델이 긴 컨텍스트의 중간에 위치한 중요한 정보를 간과하는 현상이 발생합니다.
기여도 파악 불가 (Lack of Attribution): 여러 문서가 하나로 섞여 있어, 특정 답변이 어떤 문서에서 기인했는지 정량적으로 파악하거나 재순위화(Reranking)하기 어렵습니다.

2. 제안 방법론 (Methodology)

본 논문은 문서를 하나로 합치는 대신, 각 문서를 개별적인 조건으로 보고 이를 확률적으로 결합하는 BERAG와 이를 위한 학습 방법인 BEFT를 제안합니다.

① BERAG (Bayesian Ensemble RAG) - 추론 단계

BERAG는 검색된 문서 집합 $Z$ 에 대해 답변 $y$ 의 확률을 계산할 때, 각 문서에 대해 **마진화(Marginalization)**를 수행합니다.

베이지안 업데이트: 생성되는 토큰별로 문서의 사후 확률(Posterior probability)을 베이즈 정리(Bayes' rule)를 통해 업데이트합니다. 즉, 답변이 생성됨에 따라 어떤 문서가 정답을 설명하는 데 유용한지를 실시간으로 추정합니다.
문서 사전 확률 (Document Prior): 검색된 문서의 임베딩을 MLP에 통과시켜 초기 문서 중요도를 계산합니다.
병렬 처리: 각 문서를 독립적인 짧은 컨텍스트로 처리할 수 있어 메모리 효율적인 병렬 연산이 가능합니다.

② BEFT (Bayesian Ensemble Fine-Tuning) - 학습 단계

BERAG의 효과를 극대화하기 위해 엔드투엔드(End-to-End) 미세 조정 방법을 제안합니다.

목적 함수: 각 토큰 생성 시, 문서 사후 확률을 가중치로 사용하는 가중 최대 우도(Weighted Maximum Likelihood) 손실 함수를 최소화합니다.
특징: 정답 문서에 대한 명시적인 레이블 없이도, 모델이 답변을 가장 잘 설명하는 문서에 높은 가중치를 두도록 스스로 학습합니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

① 성능 향상 (SOTA 달성)

KB-VQA (E-VQA, Infoseek): 기존 SFT(지도 미세 조정)나 DPO(직접 선호 최적화) 방식보다 뛰어난 성능을 보였습니다. 특히 검색 결과(Top-K)가 많아질수록(K=50 등) 성능이 지속적으로 향상되어, 긴 컨텍스트 문제를 해결했습니다.
SlideVQA: 여러 슬라이드에 흩어진 정보를 종합해야 하는 태스크에서 기존 모델들을 압도하는 성능을 기록했습니다.
Multi-modal Needle-in-a-Haystack: 복잡한 이미지 패널 속에서 특정 정보를 찾는 테스트에서도 GPT-4o와 같은 강력한 모델과 대등하거나 능가하는 성능을 보였습니다.

② "Lost-in-the-Middle" 현상 해결

실험 결과, BERAG는 문서의 순서에 영향을 받지 않는 **순서 불변성(Ordering-agnostic)**을 가집니다. 따라서 정답 문서가 검색 리스트의 중간에 있더라도 성능 저하 없이 정확한 답변을 생성합니다.

③ 새로운 기능적 이점

설명 가능한 거절 (Deflection): 문서 사후 확률이 매우 낮을 경우, 모델이 "답변할 정보가 없다"고 판단하여 답변을 거절(Deflection)할 수 있는 근거를 제공합니다.
효율적인 디코딩 (Pruning): 사후 확률이 낮은 문서를 생성 과정에서 제거(Pruning)하는 Top-P 전략을 통해, 표준 RAG보다 훨씬 빠른 디코딩 속도를 달성했습니다.

4. 의의 (Significance)

이 논문은 RAG의 패러다임을 '문서의 단순 결합'에서 **'문서 기반의 확률적 앙상블'**로 전환했다는 점에서 큰 의의가 있습니다.

확장성: 매우 많은 수의 문서를 검색하더라도 메모리 효율적으로 처리할 수 있는 길을 열었습니다.
신뢰성: 답변의 근거가 되는 문서를 확률적으로 추적할 수 있어, 할루시네이션(환각) 제어 및 근거 제시(Attribution)에 유리합니다.
실용성: 성능 향상뿐만 아니라 추론 속도 최적화와 답변 거절 메커니즘까지 통합적으로 다룸으로써 실제 서비스 적용 가능성을 높였습니다.