UIS-Digger: Towards Comprehensive Research Agent Systems for Real-world Unindexed Information Seeking

이 논문은 검색 엔진에 인덱싱되지 않은 정보를 찾는 새로운 과제인 'Unindexed Information Seeking (UIS)'을 정의하고, 이를 해결하기 위해 제안된 다중 에이전트 프레임워크 'UIS-Digger'와 전용 벤치마크 'UIS-QA'를 소개하며, 기존 최첨단 모델보다 우수한 성능을 입증합니다.

핵심

🕵️‍♂️ " UIS-DIGGER": 구글 검색이 놓친 보물을 찾는 새로운 탐정

이 논문은 인공지능 (AI) 이 정보를 찾는 방식에 있는 치명적인 맹점을 발견하고, 이를 해결하기 위한 새로운 시스템을 개발한 이야기입니다.

간단히 말해, **"구글 검색으로는 절대 찾을 수 없는 정보"를 어떻게 찾아낼 것인가?**라는 문제를 다룹니다.

---

1. 문제: "보이지 않는 정보의 바다" (UIS 문제)

지금까지의 AI 비서들은 구글 검색을 주로 사용했습니다. 마치 도서관의 **색인 카드 (카탈로그)**만 보고 책을 찾는 것과 같습니다. 색인 카드에 있는 책은 쉽게 찾을 수 있지만, 도서관 구석진 창고에 숨겨져 있거나, 책장 뒤에 끼워져 있거나, 혹은 책장 자체가 검색되지 않는 책들은 찾을 수 없습니다.

논문의 저자들은 이를 **"인덱싱되지 않은 정보 (Unindexed Information)"**라고 부릅니다.

• 예시: 특정 회사의 내부 보고서 PDF, 웹사이트에서 '날짜'를 직접 선택해야만 보이는 데이터, 복잡한 그래프를 직접 읽어봐야 하는 페이지 등.
• 현실: 최신 AI 모델들도 구글 검색 결과만 믿고 있다가, 정작 필요한 정보가 검색 결과에 없으면 "모르겠다"고 하거나, 엉뚱한 내용을 지어내는 (환각) 실수를 저지릅니다.

비유: 마치 보물 지도를 가지고 있는데, 지도에 표시된 곳 (검색 결과) 에는 보물이 없고, 지도에 없는 숨겨진 동굴에 보물이 있는 상황입니다. 기존 AI 는 지도 밖으로 나가는 법을 몰라 보물을 못 찾습니다.

2. 해결책: "UIS-DIGGER" (정보 파헤치는 드릴)

이 문제를 해결하기 위해 연구팀은 UIS-DIGGER라는 새로운 AI 시스템을 만들었습니다. 이름처럼 땅을 파는 (Digger) 드릴처럼, 검색 엔진이 놓친 깊은 곳까지 파헤쳐 정보를 찾아냅니다.

** UIS-DIGGER 의 핵심 능력:**

1. 이중 모드 브라우징 (Dual-mode Browsing):
   • 기존 AI 는 웹페이지를 '글자'로만 읽거나, '이미지'로만 봅니다.
   • UIS-DIGGER 는 글자 모드와 **시각 모드 (스크린샷)**를 상황에 따라 오가며 봅니다. 마치 사람이 문서를 읽다가 복잡한 차트가 나오면 차트를 직접 눈으로 확인하는 것과 같습니다.
2. 파일 파헤치기:
   • 검색 결과에 있는 링크를 클릭하고, PDF 나 엑셀 파일을 다운로드해서 내용을 직접 읽어냅니다.
3. 상호작용:
   • 단순히 클릭만 하는 게 아니라, '날짜 선택기'를 조작하거나, '필터'를 설정하는 등 사람이 웹사이트를 사용하는 것처럼 직접 조작합니다.

3. 새로운 시험지: "UIS-QA"

이 새로운 능력을 평가하기 위해 연구팀은 UIS-QA라는 새로운 시험지를 만들었습니다.

• 기존 시험지 (GAIA 등): 구글 검색으로 쉽게 답을 찾을 수 있는 문제들이 많았습니다.
• 새로운 시험지 (UIS-QA): "구글에 검색하면 안 나오는, 웹사이트 깊은 곳에 숨겨진 답"을 찾아야 하는 문제 110 개로 구성되었습니다.

결과:

• 최신 AI 모델들 (O3, GPT-4 등) 은 이 시험지에서 대참사를 당했습니다. (정답률 20~25% 수준)
• 반면, UIS-DIGGER 는 약 27% 의 점수를 받아 가장 높은 점수를 기록했습니다.
• 의미: 아무리 똑똑한 AI 라도, 검색 엔진 밖의 정보를 직접 파헤치는 '행동 능력'이 없으면 무용지물이라는 것을 증명했습니다.

4. 어떻게 훈련시켰을까? (SFT & RFT)

UIS-DIGGER 는 단순히 똑똑한 뇌 (LLM) 만 있는 게 아니라, 특별한 훈련을 받았습니다.

1. SFT (지도 학습): 인간이 정답을 알려주는 데이터를 통해 "어떻게 파일을 다운로드하고, 어떻게 웹사이트를 클릭해야 하는지"를 가르쳤습니다.
2. RFT (거부 샘플링 미세 조정): AI 가 문제를 풀게 한 뒤, 정답을 찾은 성공적인 사례만 골라 다시 학습시켰습니다. 실패한 경우는 버리고, 성공한 경우만 반복해서 학습시켜 '탐정 본능'을 길러준 것입니다.

---

🌟 요약: 이 논문이 우리에게 주는 메시지

이 논문은 **"AI 가 검색 엔진에 의존하는 것만으로는 부족하다"**고 경고합니다.

• 기존 AI: 검색 결과 (색인 카드) 에만 의존하는 수동적인 도서관 사서.
• UIS-DIGGER: 직접 도서관 구석구석을 뒤지고, 창고를 열고, 파일을 열어보는 능동적인 탐정.

실제 세상은 검색 엔진에 다 올라와 있지 않습니다. 복잡한 웹사이트, 숨겨진 파일, 실시간 데이터가 넘쳐납니다. UIS-DIGGER 는 이러한 실제 세계의 복잡함을 해결할 수 있는 첫 번째 강력한 도구로, 앞으로 더 똑똑하고 실용적인 AI 비서를 만드는 중요한 디딤돌이 될 것입니다.

한 줄 평: "검색창에 검색어를 입력하는 것을 넘어, AI 가 직접 웹사이트를 '파헤쳐' 숨겨진 보물을 찾아내는 시대가 왔습니다."

기술 요약

논문 요약: UIS-DIGGER (실제 세계의 인덱싱되지 않은 정보 탐색을 위한 포괄적 연구 에이전트 시스템)

1. 문제 정의: 인덱싱되지 않은 정보 탐색 (UIS, Unindexed Information Seeking)

기존의 LLM 기반 정보 탐색 에이전트들은 검색 엔진 (Google 등) 을 통해 크롤링되고 인덱싱된 지식에 크게 의존해 왔습니다. 그러나 현실 세계의 많은 중요한 정보는 검색 엔진이 크롤링하지 못하거나, 동적 웹페이지, 임베디드 파일, 검색 결과에서 누락된 콘텐츠 등에 숨겨져 있어 인덱싱되지 않은 정보 (Unindexed Information) 로 분류됩니다.

• 핵심 문제: 기존 벤치마크 (GAIA, BrowseComp 등) 는 에이전트가 검색 엔진에 의존하는 정도나 인덱싱되지 않은 페이지에서 정보를 발견하는 능력을 명시적으로 측정하지 못합니다.
• 현실적 한계: 검색 엔진은 관련 페이지를 반환할 수 있지만, 직접적인 답변이 필요한 콘텐츠 (예: 날짜 선택, 시각적 그래프 읽기, 파일 다운로드 및 파싱 등) 에 도달하지 못해 에이전트가 허위 답변 (Hallucination) 을 생성하거나 답변을 거부하는 경우가 발생합니다.

2. 방법론 및 제안 시스템

이 논문은 UIS 문제를 해결하기 위해 UIS-QA 벤치마크와 UIS-DIGGER 에이전트 프레임워크를 제안합니다.

가. UIS-QA (새로운 벤치마크)

• 구성: 전문가가 수동으로 주석 (Annotation) 을 달고 교차 검증한 110 개의 QA 쌍으로 구성됨.
• 특징:
  • 실제 웹 환경: 실제 공개 인터넷에서 실행되며, 광고, 복잡한 레이아웃, 오래된 정보 등 실제 난이도를 반영.
  • 미정된 시작점: 에이전트가 일반 검색 엔진을 통해 스스로 출발점을 찾아야 함.
  • 인덱싱 의존성: 정답을 도출하기 위해 검색 결과 (Snippet) 를 넘어선 심층 탐색, 파일 다운로드, 웹 페이지 상호작용 (클릭, 필터 적용 등) 이 필수적임.
  • 객관성 및 검증 가능성: 정답은 사실 기반의 객관적 데이터 (숫자, 날짜, 고유명사) 로 구성되며, 규칙 기반 LLM 을 통해 자동 검증 가능.

나. UIS-DIGGER (다중 에이전트 프레임워크)

• 아키텍처: 4 개의 에이전트 (Planner, Web Searcher, Web Surfer, File Reader) 로 구성된 다중 에이전트 시스템.
  • Planner: 작업을 하위 태스크로 분해하고 에이전트 간 조율.
  • Web Searcher: 검색 엔진 및 크롤링 도구를 사용하여 인덱싱된 정보 수집.
  • Web Surfer (핵심): URL 기반 심층 탐색 수행. 이중 모드 (Dual-mode) 브라우징을 지원하여 텍스트 모드와 시각적 모드 (스크린샷) 를 상황에 따라 전환하며 웹 페이지를 이해함. 텍스트와 시각 모드 간 공유 메모리를 유지하여 상태 동기화 오버헤드를 제거.
  • File Reader: 다운로드된 PDF, XLSX, DOCX 등 파일 파싱 지원.
• 학습 전략:
  • 데이터 구성: 실제 웹사이트 탐색과 가상 시뮬레이션 웹사이트 (날짜 선택기, 필터 등 상호작용 요소 포함) 를 결합하여 합성 QA 쌍 생성.
  • 2 단계 미세 조정 (Fine-tuning):
    1. SFT (Supervised Fine-tuning): 강력한 Teacher 모델이 생성한 정답 궤적을 통해 초기 학습 (Cold start).
    2. RFT (Rejection Sampling Fine-tuning): SFT 모델을 기반으로 다양한 탐색을 유도하고, 정답이 맞지 않거나 쉬운 태스크는 제외하여 난이도가 높은 태스크에 집중하는 강화 학습 기반 미세 조정.

3. 주요 결과 (Results)

• 성능 향상: 약 30B 파라미터 규모의 백본 LLM (Pangu-38B 또는 Qwen3-32B) 을 기반으로 한 UIS-DIGGER 는 UIS-QA 에서 27.27% 의 정확도를 기록하여 최상위 성능을 달성했습니다.
• 기존 모델 대비 우위: O3, GPT-4.1 등 최신 고도화된 LLM 을 통합한 상용 시스템이나 다른 다중 에이전트 프레임워크 (Memento, Tongyi-DR 등) 보다 높은 성능을 보였습니다.
  • 예시: Tongyi-DR 은 GAIA 에서 70.9% 의 높은 성능을 보였으나 UIS-QA 에서는 23.6% 로 급감했으나, UIS-DIGGER 는 27.27% 를 기록했습니다.
• 일반성: UIS-QA 뿐만 아니라 GAIA, BrowseComp-zh 등 기존 벤치마크에서도 경쟁력 있는 성능을 보여 프레임워크의 일반화 능력을 입증했습니다.

4. 분석 및 통찰 (Analysis)

• 실패 원인 분석:
  • 검색 실패 (Missing Retrieval): 정답이 있는 루트 웹사이트를 검색으로 찾지 못하는 경우가 가장 큰 실패 요인.
  • 출처 선정 실패 (Knowledge Sourcing): 검색 결과에서 올바른 출처를 식별하지 못하고 3 자 사이트나 오래된 정보를 선택하는 경우.
  • 상호작용 실패: 올바른 사이트에 도달했더라도 복잡한 웹 요소 (필터, 날짜 선택 등) 를 조작하지 못해 실패.
• 학습 효과: SFT 와 RFT 단계를 거치면서 에이전트는 외부 검색 도구 사용 빈도를 늘리고 (할루시네이션 감소), 불필요한 탐색을 줄이며 효율적인 탐색 경로를 학습하는 것을 확인했습니다.

5. 의의 및 기여 (Significance & Contributions)

1. ** UIS 문제의 공식화:** 기존 에이전트 평가 체계에서 간과되었던 '인덱싱되지 않은 정보 탐색 (UIS)' 문제를 명확히 정의하고 그 중요성을 강조했습니다.
2. 첫 전용 벤치마크 (UIS-QA): UIS 능력을 체계적으로 평가할 수 있는 최초의 표준 벤치마크를 제공하여 향후 연구의 기준을 마련했습니다.
3. 강력한 베이스라인 (UIS-DIGGER): 소규모 모델 (30B) 이지만 적절한 액션 스페이스 (Action Space) 와 전략적 학습 (SFT+RFT) 을 통해 대규모 모델보다 뛰어난 UIS 성능을 달성할 수 있음을 증명했습니다.
4. 연구 방향 제시: 단순한 검색 엔진 의존을 넘어, 실제 웹 환경과의 깊은 상호작용 (파일 파싱, 시각적 이해, 복잡한 UI 조작) 이 정보 탐색 에이전트의 핵심 역량임을 시사합니다.

이 논문은 현재 정보 탐색 에이전트의 한계를 드러내고, 보다 견고하고 포괄적인 정보 탐색 시스템을 구축하기 위한 새로운 방향성을 제시한다는 점에서 의미가 큽니다.