기술 요약: SANA - 탐색 에이전트 내비게이션 절제 프레임워크 (Search Agent Navigation Ablation Framework)

1. 문제 정의

데이터 레이크(data lakes)에 대한 탐색적 질의응답(Exploratory Question Answering, EQA)은 LLM 에이전트가 관련 소스를 반복적으로 발견하고, 검색된 데이터를 분석하며, 중간 결과에 따라 행동을 조정할 것을 요구합니다. 표준 QA와 달리, 에이전트는 데이터 스키마에 대한 사전 지식 없이 고수준의 질문에 답하기 위해 어떤 테이블, 메타데이터, 필터 또는 연산이 필요한지를 결정해야 합니다.

현재의 평가 방법들은 다음과 같이 서로 다른 구성 요소 간의 실패를 혼재시켜 종단간(end-to-end) 정확도만을 측정합니다:

• 검색(Search): 관련 없거나 불완전하거나 누락된 소스를 검색함.
• 계획(Planning): 질문을 잘못되거나 불완전한 하위 질문으로 분해함.
• 데이터 분석(Data Analysis): 잘못된 쿼리/코드를 작성하거나, 결과를 오해하거나, 스키마 오류를 범함.
• 에이전트 정책(Agent Policy): 다음 단계로 무엇을 할지, 언제 멈출지, 혹은 어떻게 증거를 종합할지를 결정하는 턴 단위의 의사결정 과정(Action Policy).

기존의 벤치마크(예: LakeQA, KramaBench) 및 에이전트 평가(예: DCI, Metadata Reasoner)는 이러한 실패 모드들을 분리하여 격리하지 못합니다. 결과적으로, 에이전트의 실패가 열악한 검색 인프라 때문인지, 약한 추론 체인 때문인지, 혹은 결함이 있는 실행 정책 때문인지 명확히 알 수 없습니다.

2. 방법론: SANA 프레임워크

저자들은 종단간 EQA 작업의 정확도를 특정 구성 요소의 실패로 해체하기 위해 설계된 진단적 절제 프레임워크인 **SANA (Search Agent Navigation Ablation framework)**를 제안합니다.

2.1 태스크 프로파일링 (Task Profiling)

SANA는 해결된 EQA 태스크를 다음과 같은 정답 정보를 포함하는 **런타임 프로파일(runtime profiles)**로 변환합니다:

1. 소스 시퀀스 (Source Sequence): 각 하위 질문에 필요한 골드 데이터셋($D_{gold}$)의 순차적 배열.
2. 정제된 하위 질문 (Sanitized Subquestions): 검색 대상을 유출하는 것을 방지하기 위해 데이터셋 이름에 대한 직접적인 언급을 제거한 하위 질문 시퀀스($\tilde{Q}$) (예: "nypd_crimes"를 "NYPD가 보고한 범죄 기록 찾기"로 대체).
3. 실행 기록 (Execution Records): 데이터 분석이 필요한 각 단계에 대한 데이터셋, 분석 의도, 올바른 코드/쿼리 및 중간 답변의 명세.

2.2 의도 기반 절제 (Intent-Based Ablation)

SANA는 에이전트의 Action Policy(다음에 무엇을 할지에 대한 결정)는 유지하면서, 이를 이상적인 버전으로 교체함으로써 시스템 구성 요소의 기여도를 격리합니다. 프레임워크는 세 가지 절제 축을 정의합니다:

• 계획 절제 (Planning Ablation): 에이전트는 정제된 하위 질문 시퀀스($\tilde{Q}$)와 각 단계의 목표를 받지만, 여전히 검색 쿼리를 생성하고 분석을 실행해야 합니다. 이는 에이전트가 올바른 분해 과정을 따를 수 있는지 테스트합니다.
• 검색 절제 (Search Ablation): 표준 검색 도구가 검색 공간을 엄격하게 $D_{gold}$로 제한하는 오라클(oracle)과 같은 연산자($f_{ideal}$)로 교체됩니다. 에이전트는 여전히 무엇을 검색할지와 언제 검색할지는 결정하지만, 검색 정밀도는 완벽합니다.
• 데이터 분석 절제 (Data Analysis Ablation): 표준 실행 도구가 $g_{ideal}$로 교체되며, 이는 에이전트의 의도가 주석 처리된 실행 기록과 일치하는지 확인합니다. 일치하면 검증된 중간 답변을 반환하고, 일치하지 않으면 명시된 의도에 대해 더 강력한 모델을 사용하여 올바른 코드를 생성합니다.

2.3 평가 설정 (Evaluation Setup)

이 프레임워크는 두 가지 벤치마크에 적용되었습니다:

• LakeQA: 대규모 데이터 레이크 환경 (~4,000만 개의 문서, 135개 태스크).
• KramaBench (변환본): 데이터 발견을 요구하도록 조정된 소규모 데이터-투-인사이트(data-to-insight) 설정 (1,764개의 소스, 83개 태스크).

실험은 고정된 예산($B=30$ 번의 도구 호출)과 실행 시간 하에서 두 가지 모델 크기(gpt-5.4-nano 및 gpt-5-mini)로 수행되었습니다. 연구는 Naive(베이스라인), Standard(현재의 최선책), Ideal(절제 모델) 구성을 비교합니다.

3. 주요 결과

3.1 LakeQA 결과 (대규모 발견)

• 검색이 주요 병목 구간임: 이상적인 검색(오라클 검색)은 BM25 대비 gpt-5.4-nano에서 +14.1%, gpt-5-mini에서 **+13.3%**의 의미적 일치도(SM)를 향상시켰습니다. 골드 소스를 프리로딩(preloading)했을 때는 더 높은 이득(+4로 nano 기준 +28.9%)을 보였으며, 이는 약한 에이전트가 검색 내비게이션(쿼리 생성 및 소스 확정)에서 크게 어려움을 겪음을 나타냅니다.
• 데이터 분석은 일관된 병목 구간임: 이상적인 데이터 분석은 gpt-5-mini의 SM을 +18.5% 향상시켰으며, 이는 강력한 모델이라도 의도는 정확히 파악하지만 구현(SQL/Python 생성)에서 실패할 수 있음을 시사합니다.
• 계획은 덜 제한적임: 이상적인 계획은 완만한 이득(+3.0% nano, +9.6% mini)을 제공했습니다. 분석 결과, 에이전트는 종종 골드 분해와 유사한 계획을 생성할 수 있지만, 실행 중에 이를 **따르는 것(follow)**에 실패(궤적 이탈)하는 것으로 나타났습니다.
• 잔여 정책 실패 (Residual Policy Failures): 모든 구성 요소가 이상화되었음에도 불구하고 격차(예: gpt-5-mini의 SM 76.3% vs 잠재치 100%)가 존재합니다. 실패 원인에는 최종 답변의 환각, 루프에 의한 예산 낭비, 또는 중간 증거 검증 실패가 포함됩니다.

3.2 KramaBench 결과 (소규모 분석)

• 데이터 분석이 지배적임: 이 설정에서는 데이터 분석이 주요 병목이었으며, 이상화 시 SM을 (nano 기준) +24.1%, (mini 기준) +14.5% 향상시켰습니다.
• 검색은 덜 중요함: 검색 개선은 미미했습니다(+2.4% ~ +6.0%). 이는 규모가 작고, 태스크의 성격이 광범위한 발견보다는 데이터-투-인사이트 파이프라인에 가깝기 때문입니다.
• 계획의 영향: 계획 절제는 더 약한 모델(nano)에서 더 강력한 모델보다 상대적으로 더 큰 이득을 보여주었으며, 이는 구조화된 분석 태스크에서 명시적인 분해가 약한 에이전트에게 더 도움이 됨을 시사합니다.

3.3 실패 분석 (Failure Analysis)

실패한 트레이스(trace)에 대한 감사는 다음과 같은 뚜렷한 실패 프로필을 드러냈습니다:

• gpt-5.4-nano: 실패가 소스 타겟팅, 계획 이탈, 턴 낭비(반복 루프), 조기 중단 등에 분산되어 나타났습니다.
• gpt-5-mini: 실패가 실행/연산(실패의 57.2%) 및 최종화(35.7%)에 집중되었습니다. 이 모델은 일반적으로 올바른 증거에 도달하지만, 작업을 올바르게 구현하거나 최종 답변을 합성하는 데 실패했습니다.

4. 기여

1. SANA 프레임워크: 해결된 EQA 태스크를 런타임 프로파일로 변환하여 계획, 검색, 데이터 분석에 대한 이상적인 인터페이스를 구축하면서도 에이전트의 정책을 보존하는 진단적 절제 프레임워크를 제공합니다.
2. 통제된 평가: 검색, 계획, 실행의 종단간 기여도를 고정된 조건 하에서 격리하여 체계적으로 평가한 LakeQA 및 변환된 KramaBench에 대한 평가를 수행했습니다.
3. 경험적 진단: 데이터 분석이 일관된 제한 요소이며, 검색은 대규모 발견에서 주요 제한 요소이고, 구성 요소가 이상화되더라도 잔여 정책 실패(궤적 제어, 검증, 중단 기준)가 지속된다는 증거를 제시했습니다.

5. 의의 및 주장

본 논문은 SANA가 EQA 에이전트의 "블랙박스" 식 종단간 정확도 평가에서 특정 실패 모드를 식별하는 진단적 접근 방식으로의 필수적인 전환을 제공한다고 주장합니다.

• 정확도의 해체: 저자들은 종단간 정확도만으로는 검색, 계획, 또는 에이전트 정책 중 어디에서 실패가 발생했는지 구분할 수 없다고 주장합니다. SANA는 이러한 특정 영역에서의 진전을 체계적으로 비교할 수 있게 해줍니다.
• 정책 vs 구성 요소 품질: 결과는 EQA 에이전트의 향상이 단순히 더 나은 검색기나 더 강력한 코드 생성을 넘어선다는 것을 시사합니다. "잔여 격차"는 하위 목표 진행 상황을 추적하고, 검증된 소스에 확신을 가지며, 궤적 이탈에서 회복하고, 최종 답변을 제출하기 전에 중간 증거를 검증할 수 있는 더 강력한 런타임 정책이 필요함을 나타냅니다.
• 맥락 의존적 병목 현상: 본 논문은 병목 현상이 보편적이지 않음을 강조합니다. 즉, 벤치마크 구조(예: 대규모 레이크에서는 검색이, 소규모 인사이트 중심 태스크에서는 분석이 지배적임)에 따라 변화합니다.

저자가 인정한 한계점:

• 진단적 근사 (Diagnostic Approximation): 이상적인 도구는 오라클의 근사치입니다. 즉, 프로파일 이외의 다른 유효한 소스를 인정하지 않을 수 있습니다.
• 태스크 범위 (Task Scope): 결론은 평가된 태스크 세트(LakeQA 및 변환된 KramaBench)에 국한되며, 모든 에이전트 벤치마크로 일반화되지 않을 수 있습니다.
• 판단자 의존성 (Judge Reliance): 여러 지표(의미적 일치, 계획 궤적, 실패 라벨링)가 LLM 판단자에 의존하며, 이는 위양성 또는 위음성을 초래할 수 있습니다.