상황: 사용자가 "2018 년 1 분기에 미국 고용주가 채용을 계획한 비율은?"이라고 물었을 때, 기존 AI 는 문서 전체를 똑같은 무게로 봅니다.
비유: 도서관에서 책을 찾을 때, 책 제목, 목차, 본문, 그림, 표를 모두 똑같이 중요하게 여기는 상황이에요. 중요한 '정답이 적힌 표'와 '아무런 정보도 없는 장식 그림'을 구별하지 못해서, 정답이 숨겨진 곳을 놓치거나 불필요한 정보에 집중해버립니다.
고집이 세다 (Static Input Selection):
상황: AI 는 미리 정해진 숫자 (예: 상위 3 개 문서) 만큼만 읽으라고 정해져 있습니다.
비유: 요리사가 레시피를 찾을 때, 무조건 3 권의 책만 펼쳐서 읽는 거예요.
만약 정답이 4 권에 있다면? 정답을 못 찾습니다. (부족함)
만약 정답이 1 권에 있는데, 3 권을 다 읽으라고 하면? 불필요한 정보에 혼란을 겪습니다. (과부하)
AI 는 "아직 정보가 부족해, 더 찾아봐야겠다"라고 스스로 판단해서 책을 더 꺼내거나, "이제 충분해, 답을 써보자"라고 멈추는 능력이 없었습니다.
✨ MARA 의 해결책: "스마트한 비서"
이제 MARA 는 두 가지 똑똑한 비서를 고용해서 이 문제를 해결합니다.
1. "질문과 눈이 맞는" 검색 전문가 (Query-Aligned Region Encoder)
역할: 문서를 읽기 전에, 사용자의 질문 내용을 먼저 보고 문서의 어떤 부분이 중요한지 미리 판단합니다.
비유:
기존 AI 는 문서 전체를 회색으로 칠한 사진처럼 보다가 읽습니다.
MARA 는 질문을 듣고 **"아, 이 질문에는 '표'와 '숫자'가 중요하구나!"**라고 생각하며, 문서 속의 중요한 부분만 형광펜으로 칠해줍니다.
그래서 문서의 전체적인 구조 (큰 그림) 와 세부적인 숫자 (작은 그림) 를 모두 잘 구분해서, 정답이 숨어 있는 곳을 정확히 찾아냅니다.
2. "스스로 판단하는" 정보 관리자 (Self-Reflective Evidence Controller)
역할: 찾은 정보를 바탕으로 답을 작성할 때, **"이제 정보가 충분한가?"**를 스스로 물어봅니다.
비유:
기존 AI 는 **정해진 시간 (상위 3 개 문서)**이 지나면 무조건 답을 내야 합니다. 정보가 부족해도, 정보가 너무 많아도 상관없습니다.
MARA 는 스스로에게 질문합니다.
"지금까지 본 정보로 답을 낼 수 있을까?" → 아니면? → "그럼 다음 책 (문서) 을 더 꺼내서 보자!" (적응형 확장)
"이제 충분해!" → 그럼? → "지금 바로 답을 써보자!" (조기 종료)
마치 현명한 비서가 "주인님, 이 정도면 충분합니다. 더 이상 불필요한 서류는 안 가져오겠습니다"라고 말하며, 필요한 만큼만 정보를 모아서 정리해 주는 것과 같습니다.
🚀 결과: 왜 MARA 가 더 좋은가?
실험 결과, MARA 는 다음과 같은 장점을 보였습니다.
더 정확한 답: 중요한 정보를 놓치지 않고, 불필요한 정보에 방해받지 않아 정답률이 훨씬 높습니다.
더 빠르고 효율적: 불필요하게 많은 문서를 다 읽지 않아도 되므로, 시간이 덜 걸립니다. (예: 10 권을 다 읽는 대신, 필요한 3~4 권만 딱 읽어서 정답을 냅니다.)
유연함: 질문이 복잡하면 더 많은 정보를 찾고, 간단하면 빨리 끝내는 등 상황에 맞춰 스스로 조절합니다.
📝 한 줄 요약
MARA는 문서를 읽을 때 "질문에 맞춰 중요한 부분을 찾아내고 (검색 전문가)", "정보의 양을 스스로 판단해서 적당히 모으는 (스마트 비서)" 능력을 갖춘, 훨씬 똑똑하고 효율적인 인공지능 프레임워크입니다.
1. 문제 정의 (Problem Definition)
실제 응용 환경에서 기술 보고서, 학술 논문, 프레젠테이션 슬라이드 등 텍스트, 레이아웃, 표, 시각적 요소가 결합된 다중 모달 (Multimodal) 문서가 증가하고 있습니다. 이러한 문서에 대한 질문 답변 (QA) 을 위해 기존에 텍스트 기반에서 성공적인 성과를 보였던 검색 증강 생성 (RAG, Retrieval-Augmented Generation) 을 적용하려는 시도가 있었으나, 다중 모달 문서 RAG 는 다음과 같은 두 가지 핵심 한계에 직면해 있었습니다.
쿼리 무관한 인코딩 (Query-Agnostic Encoding):
기존 방식은 문서의 모든 영역을 동등하게 처리하는 고정된 표현을 사용합니다.
이로 인해 질문과 관련된 중요한 콘텐츠 (예: 특정 표 셀, 이미지 영역) 가 간과되거나, 다양한 스케일 (전체 레이아웃 vs. 세부 시각적 단서) 간의 정보가 희석되어 검색 정확도가 떨어집니다.
정적 입력 선택 (Static Input Selection):
기존 RAG 는 검색된 문서 중 상위 k개 (Top-k) 를 고정된 순서로 생성기에 전달합니다.
하지만 실제 증거 (Evidence) 의 분포는 예측 불가능합니다. k가 너무 작으면 핵심 정보가 누락되어 부분적인 답변만 나오고, k가 너무 크면 노이즈가 생성기를 과부하시켜 답변 품질이 저하됩니다.
2. 제안 방법론 (Methodology: MARA)
저자들은 이러한 한계를 극복하기 위해 다중 모달 적응형 검색 증강 (MARA) 프레임워크를 제안했습니다. MARA 는 검색 (Retrieval) 과 생성 (Generation) 단계 모두에서 쿼리 적응형 (Query-Adaptive) 메커니즘을 도입하여 동적으로 정보를 조정합니다.
A. 쿼리 정렬 영역 인코더 (Query-Aligned Region Encoder, QRE)
목적: 검색 단계에서 질문과 관련된 문서 영역을 정밀하게 식별하고 가중치를 재조정합니다.
구조:
계층적 분해: 문서를 전체 (Global), 대략적 (Coarse, 예: 레이아웃 블록), 세부 (Fine, 예: 표 셀, 이미지 컷) 의 3 가지 그레인 (Granularity) 으로 분해하여 오프라인에서 인코딩합니다.
쿼리 정렬 어텐션: 생성 시 입력된 질문 (Query) 과 각 영역의 임베딩 간의 유사도를 계산하여 어텐션 가중치를 동적으로 부여합니다.
게이트 퓨전 (Gated Fusion): 질문의 의미에 따라 전체, 대략적, 세부 영역의 특징을 적응적으로 융합하여 최종 문서 임베딩을 생성합니다.
효과: 문서의 구조적 계층을 유지하면서 질문과 가장 관련 높은 영역에 집중하여 검색 정밀도를 높입니다.
B. 자기 반성적 증거 컨트롤러 (Self-Reflective Evidence Controller, SEC)
목적: 생성 단계에서 증거의 충분성을 실시간으로 평가하고, 필요에 따라 입력 범위를 동적으로 확장합니다.
동작 원리:
슬라이딩 윈도우: 검색된 상위 k개 문서를 고정된 크기의 슬라이딩 윈도우로 처리합니다.
자기 반성 (Self-Reflection): 생성기는 현재 윈도우와 누적된 컨텍스트 메모리를 바탕으로 "답변을 생성하기에 증거가 충분한가?"를 판단합니다.
Suf. (충분): 즉시 답변 생성 및 종료.
Par.suf. (부분 충분): 현재 윈도우의 유용한 정보를 메모리에 추출하여 추가하고 다음 윈도우로 이동.
Insuf. (불충분): 메모리 업데이트 없이 다음 윈도우로 이동.
적응적 확장: 고정된 Top-k 대신, 증거가 부족할 때만 하위 순위 문서에서 추가 정보를 점진적으로 가져옵니다.
효과: 불필요한 컨텍스트로 인한 노이즈를 줄이면서, 핵심 정보가 누락되지 않도록 보장합니다.
3. 주요 기여 (Key Contributions)
MARA 프레임워크 제안: 검색과 생성 단계 모두에 쿼리 적응형 메커니즘을 도입하여, 쿼리 무관한 인코딩과 정적 증거 통합의 한계를 해결했습니다.
QRE (Query-Aligned Region Encoder) 개발: 질문 관련성에 기반하여 문서 영역을 동적으로 재가중치하는 다중 그레인 표현 모듈을 통해, 복잡한 다중 모달 레이아웃에서 정밀한 검색을 가능하게 했습니다.
SEC (Self-Reflective Evidence Controller) 개발: 고정된 Top-k 전략을 대체하여, 생성 시 증거 충분성을 모니터링하고 필요 시 하위 순위 문서를 점진적으로 통합하는 유연한 전략을 제시했습니다.
광범위한 실험 검증: 6 개의 다양한 도메인과 형식을 가진 다중 모달 QA 벤치마크 (DocVQA, ChartQA, SlideVQA 등) 에서 SOTA(SOTA) 방법론 대비 검색 정밀도와 답변 품질을 일관되게 향상시켰음을 입증했습니다.
4. 실험 결과 (Results)
생성 성능: 6 개 벤치마크에서 MARA 는 기존 SOTA 인 VisRAG 를 능가했습니다. 특히 MiniCPM-V 2.6 과 GPT-4o 백본을 사용할 때, 오라클 (Ground-truth 문서 사용) 성능의 약 **88%**에 근접하는 결과를 달성했습니다.
검색 성능: 제안된 QRE 는 SigLIP, ColPali, VisRAG-Ret 등 기존 비전 - 언어 모델 기반 검색기보다 평균 MRR(평균 순위 역수) 과 Recall(재현율) 에서 우위를 보였습니다.
효율성: 고정된 Top-10 검색 방식보다 MARA 는 더 높은 정확도를 유지하면서 런타임은 크게 단축했습니다. 이는 SEC 가 불필요한 문서 처리를 방지하기 때문입니다.
어블레이션 연구: QRE 와 SEC 모듈을 각각 제거했을 때 성능이 현저히 저하됨을 확인하여, 두 모듈의 시너지 효과가 필수적임을 입증했습니다.
5. 의의 및 결론 (Significance)
이 논문은 다중 모달 문서 QA 분야에서 동적 적응성 (Dynamic Adaptivity) 의 중요성을 강조합니다.
기술적 의의: 문서의 복잡한 구조 (레이아웃, 표, 이미지) 를 계층적으로 이해하고, 질문의 맥락에 따라 검색과 생성의 범위를 실시간으로 조절하는 새로운 패러다임을 제시했습니다.
실용적 가치: 고정된 Top-k 전략의 한계를 극복하여, 노이즈를 줄이고 핵심 정보에 집중함으로써 더 정확하고 효율적인 문서 기반 QA 시스템을 구축할 수 있는 길을 열었습니다.
미래 전망: MARA 는 문서 수준의 검색과 생성 간의 시너지를 최적화하는 통합적이고 유연한 접근법으로, 향후 복잡한 다중 모달 추론 작업의 표준 프레임워크가 될 가능성이 높습니다.