기술 요약: K-BROWSECOMP

문제 정의

프런티어 대규모 언어 모델(LLM)이 기초적 능력(예: 지시 이행, 추론)에서 구성적(compositional)이고 에이전트적인 작업으로 평가의 초점을 옮겨감에 따라, 한국 AI 커뮤니티에는 웹 브라우징 에이전트를 위한 표준화된 벤치마크가 부재한 상황이다. 기존의 한국어 벤치마크는 주로 정적인 언어 이해, 사실적 지식, 추론(예: KorQuAD, KMMLU, CLIcK)에 집중되어 있어, 지역 특화 정보를 검색하고, 증거 상태를 유지하며, 여러 웹 페이지에 걸쳐 정보를 합성하는 능력을 평가하지 못한다. 또한, 선도적인 글로벌 모델들은 기존의 영어 중심 벤치마크에서 성능 포화 상태에 도달하여, 분포 내(in-distribution)와 분포 외(out-of-distribution) 평가 사이의 구분을 모호하게 만든다. 따라서 한국적 맥락에 기반하여 브라우징 에이전트의 발전을 측정하고, 한국 개발자들이 직면한 로컬 문화 및 제도적 지식에 대한 구조적 불이익을 해결할 수 있는 벤치마크가 절실히 필요하다.

방법론

저자들은 한국 웹 생태계 내에서 다단계 검색과 추론을 요구하도록 설계된 400개의 문제로 구성된 웹 브라우징 에이전트 벤치마크인 K-BROWSECOMP를 소개한다. 이 벤치마크는 두 가지 별도의 하위 집합으로 나뉜다.

1. K-BROWSECOMP-VERIFIED (300개 문제)

이 하위 집합은 한국어 원어민에 의해 검증된 수동 제작 질문들로 구성된다.

• 구성: 어노테이터들은 질문이 한국적 맥락에 근거해야 하고, 공개된 텍스트 웹 증거에 의해 뒷받침되어야 하며, 직접적인 검색으로는 답하기 어렵지만 정답 경로를 알게 되면 검증하기 쉬워야 한다는 엄격한 가이드라인을 따랐다.
• 추론 형식: 질문은 다중 홉 추론(중간 엔티티를 찾기 위해 웹사이트를 순차적으로 탐색) 또는 병렬 분기(고유한 답을 식별하기 위해 여러 독립적인 제약 조건을 교차 적용)를 요구한다.
• 제약 조건: 각 항목은 고유하고 시간적으로 안정적인 답을 가져야 한다. 어노테이터는 LLM을 사용하여 질문을 생성하거나 비공개/유료 소스에 의존하는 것이 금지되었다.
• 검증: 모든 항목은 골드 답변(gold answer), 중간 엔티티, 인용 출처가 공개 웹 증거로부터 회복 가능한지 확인하기 위해 수동으로 검증되었다. 접근 불가능하거나 일관되지 않은 증거를 가진 항목은 탈락되었다.

2. K-BROWSECOMP-SYNTHETIC (100개 문제)

이 하위 집합은 식별된 실패 모드(failure modes)를 기반으로 LLM을 활용하여 적대적 문제를 생성함으로써 수동 구축의 어려움과 비용 문제를 해결한다.

• 동기: 브라우징 문제를 푸는 것은 어렵지만, 증거 경로를 알게 되면 답을 검증하는 것은 더 쉽다는 정보 비대칭성을 활용한다. 저자들은 어려운 문제를 생성하는 것 또한 어렵다는 가설을 세웠다.
• 생성 파이프라인:
  • 시드 데이터: Verified 세트의 골드 소스 페이지와 Verified 세트에서 모델 오류로부터 식별된 9가지 실패 모드(F1–F8) 분류 체계(예: 효과적이지 못한 검색 방향, 교차 소스 이동 실패, 제약 조건 추적 실패)를 사용하였다.
  • 에이전트 제안자: 웹 브라우징 LLM 에이전트(Claude Code)에게 특정 실패 모드를 타겟팅하여 시드 페이지로부터 역방향으로 적대적 질문을 초안 작성하는 과업을 부여했다.
  • 필터링: 생성된 질문은 세 단계의 순차적 필터를 거쳤다:
    1. 검색 가능성: 골드 답변이 검색 결과에 직접 나타나지 않음을 확인한다.
    2. 형식 적절성: 답이 소스 페이지에서 유일하게 추출 가능한지 확인한다.
    3. 적대적 난이도: 타겟 모델(GPT-5.4-mini, Gemini-3.1-Flash-Lite)이 해당 질문을 해결하지 못함을 확인한다.
• 결과: 생성된 268개의 후보 중 100개만이 모든 필터를 통과하였으며, 이는 반구조화된 파싱(parsing)과 제약 조건 추적을 구체적으로 겨냥하는 진단적 분할(diagnostic split)을 결과로 냈다.

주요 기여

1. 최초의 한국어 에이전트 벤치마크: K-BROWSECOMP는 엔터테인먼트, 교육, 지역 지리, 제도적 지식 등 다양한 도메인을 아우르며 한국적 맥락에서 웹 브라우징 에이전트를 평가하기 위한 최초의 표준화된 벤치마크를 제공한다.
2. 실패 모드 타겟 생성: 인간이 검증한 데이터에서 반복되는 실패 모드를 활용하여, 특정 실패 모드를 공략하는 문제를 생성하는 데 브라우징 에이전트를 사용하는 합성 진단 분립 구축 방법론을 제시한다.
3. 궤적 수준의 실패 분류 체제: 저자들은 불완전한 출력부터 효과적이지 못한 검색 방향, 교차 소스 이동 및 제약 조건 추적 실패에 이르기까지 궤적 수준에서 발생하는 9가지 실패 모드(F0–F8)에 대한 상세한 분류 체계를 정의한다.
4. 진단적 스트레스 테스트: SYNTHETIC 분할은 정밀한 상태 유지를 요구하는 적대적으로 생성된 변형 문제들을 해결하는 데 있어, 검증된 문제를 풀 수 있는 모델조차 고전함을 보여주는 타겟 스트레스 테스트 역할을 한다.

실험 결과

벤치마크는 글로벌 프런티어 모델(GPT-5.5, DeepSeek-V4-Pro, GLM-5.1)과 한국 특화 모델(K-EXAONE, A.X-4.0, HyperCLOVAX)을 포함한 다양한 독점 및 오픈 웨이트 모델을 대상으로 평가되었다.

• Verified 세트 성능:
  • 프런티어 모델들은 30.00%에서 45.67% 사이의 낮은 정확도를 기록했다. GPT-5.5가 45.67%로 앞섰으나, 이는 기존 영어 BrowseComp 벤치마크에서의 성능(84.4%)에 비해 상당한 하락이다.
  • 정부의 "독자적 AI 파운데이션 모델 프로젝트"를 통해 출시된 한국어 LLM들은 0.00%에서 10.33% 사이의 점수를 기록하며 현저히 낮은 성능을 보였다.
• Synthetic 세트 성능:
  • SYNTHETIC 분할에서는 정확도가 더욱 하락하여, 가장 강력한 모델인 GPT-5.5조차 **26.00%**에 그쳤다. 어떤 모델도 이 분할에서 30.00%를 넘지 못했다.
• 실패 분석:
  • 검색 노력: 오답을 낸 시도는 정답을 맞힌 시도보다 더 많은 검색 호출을 소비하는 경향이 있었는데, 이는 실패가 검색 예산의 부족 때문이 아니라 검색 후 제약 조건을 병합하거나 엔티티의 역할을 유지하는 능력의 부재 때문임을 시사한다.
  • 상태 유지: 확인된 주요 병목 지점은 여러 턴에 걸쳐 후보군, 제약 조건, 역할 바인딩을 유지하지 못하는 것이다. 모델들은 관련 증거를 검색해 오기는 하지만, 조기에 후보를 확정 짓거나 증거 브랜치를 병합하지 못해 최종 답변을 합성하는 데 실패하는 경우가 빈번했다.
  • 한국어 모델: 한국 중심적임에도 불구하고, 오픈 웨이트 한국어 모델들은 이 환경에서 글로벌 모델 대비 뚜렷한 우위를 보이지 못했으며, 도구 호출 프로토콜, 검색 후 상태 추적, 또는 답변 확정 단계 등 특정 단계에서 자주 실패했다.

의의 및 주장

본 논문은 K-BROWSECOMP가 한국 AI 생태계의 중요한 진단 대상 역할을 한다고 주장한다. 결과에 따르면 현재의 모델들은, 심지어 최첨단 프런티어 LLM이라 할지라도 한국적 맥락에서의 웹 브라우징이 요구하는 구성적 요구사항을 수행하는 데 어려움을 겪는다. 글로벌 모델과 한국 모델 사이의 상당한 성능 격차는 단순한 정적 지식이나 언어 커버리지를 넘어 에이전트 역량에 대한 특화된 개발이 필요함을 강조한다.

저자들은 한국어 브라우징 에이전트의 발전을 위해서는 궤적 수준의 상태 유지(trajectory-level state maintenance), 즉 여러 차례의 검색 턴 동안 후보 집합, 제약 조건, 소스 포인터를 보존하는 능력을 강화하는 메커리즘이 필요하다고 단언한다. SYNTHETIC 분할은 실패 모드 타겟 생성이 표준 벤치마크에서 포착되지 않는 지속적인 약점을 드러내는 유용한 진단 항목을 생성할 수 있음을 입증한다. 저자들은 K-BROWSECOMP를 정적 벤치마크 성능과 병행하여 브라우징 에이전트 역량을 우선시하도록 장려하는 공유 자원으로 위치시키며, 궁극적으로 한국 웹 환경을 위한 신뢰할 수 있는 웹 브라우징 에이전트를 구축하는 것을 목표로 한다.

논문은 검증 세트의 규모가 작고(300개 항목) 도메인 커버리지가 불균형하며, 벤치마크가 단일 브라우징 하네스와 검색 백엔드에 의존하여 모델 능력과 검색 범위 및 도구 인터페이스 신뢰성이 혼재될 수 있다는 점을 언급하며 겸허한 한계를 명시하며 마무리된다. 웹 증거의 동적인 특성상 지속적인 재검증이 필요하다.