기술 요약: 실패를 안전하게 만들기: 오픈 웹 데이터 수집을 위한 제약 기반의 검증 가능한 에이전트 프레임워크

1. 문제 정의

본 논문은 LLM(대규모 언어 모델)과 에이전트를 직접적인 오픈 웹 데이터 수집에 사용할 때 발생하는 신뢰성 문제를 다룬다. LLM은 자연어를 통해 스크래퍼 코드를 생성할 수 있지만, 직접 적용할 경우 이질적인 웹 페이지 구조와 LLM 코드 생성의 확률적 불일치로 인해 구조적 취약성을 겪게 된다. 일반적인 실패 모드로는 종속성 오류, 선택자(selector) 깨짐, 스키마 불일치, 출력 형식의 불일치 등이 있다. 기존 파이프라인은 수동 작업에 의존하는 반면, 제약 없는 에이전트 방식은 검증 가능성이 부족하여 운영 환경에서 실패를 감사하거나 측정하고 수정하기 어렵다.

핵심 과제는 "완벽한 에이전트 추론"에서 "검증 가능한 수집 파이프라인"으로 전환하는 것이다. 즉, 모든 단계의 입력과 출력을 확인, 측정 및 감사할 수 있는 시스템을 구축하는 것이다.

2. 방법론

저자들은 자유 형식의 코드 생성 대신 타입이 지정된 JSON 수집 설정(collector configuration)을 생성하는 제약 기반의 검증 가능한 에이전트 프레임워크를 제안한다. 이 시스템은 "생성-실행-체크-수정"의 폐쇄 루프(closed loop)로 작동하며, LLM의 역할(요구사항 이해 및 설정 생성)과 실행 엔진(정적 Airflow DAG)을 분리한다.

2.1 6가지 유형의 수집기 분류 체계 (Six-Type Collector Taxonomy)

구조적 경계를 강제하기 위해, 본 프레임워크는 명시적인 기능적 경계와 구성 규칙을 가진 6가지 수집기 유형을 정의한다:

1. Search (검색): 키워드를 통해 후보 URL을 발견한다 (콘텐츠 추출 없음).
2. List (리스트): 상세 링크를 찾기 위해 페이지가 나뉜 리스트를 탐색한다 (심층 콘텐츠 추출 없음).
3. Detail (상세): 단일 페이지에서 구조화된 필드를 추출한다.
4. API: 공용 API를 호출하고 응답 필드를 매핑한다 (브라우저 상호작용 없음).
5. Interactive (상호작용): 동적 페이지에서 클릭 및 입력을 수행한다 (인증/CAPTCHA 우회 불가).
6. File (파일): 공개된 파일(PDF, Excel)을 다운로드하고 파싱한다.

2.2 제약 기반 에이전트 프레임워크

프레임워크는 네 가지 제약 범주 하에서 작동하는 다섯 가지 모듈로 구성된다:

1. 요구사항 이해 에이전트 (Requirement Understanding Agent): 자연어 설명($d$)을 전체 태스크 표현($R$)으로 변환한다. 이때 대상 사이트(홈페이지, 사이트맵, 샘플 페이지)를 선제적으로 조사하여 소스 컨텍스트($x$)를 추출한다.
2. 수집기 인스턴스화 에이전트 (Collector Instantiation Agent): "참조 코딩 + 템플릿 슬롯 채우기" 방식을 사용하여 JSON 설정($M$)을 생성한다. 에이전트는 코드를 직접 쓰는 대신, 다음의 제약을 따르는 사전 구축된 템플릿의 슬롯을 채운다:
   • 태스크 유형 제약: 올바른 수집기 유형이 선택되도록 보장한다.
   • 설정 구조 제약: JSON Schema 준수를 강제한다.
   • 도구 재사용 제약: 새로운 코드를 생성하는 대신 사전 구축된 유틸리티 함수를 재사용한다.
3. Airflow 검증 및 스케일 실행 (Airflow Validation & Scale Execution): 정적 Airflow DAG가 JSON 설정을 실행한다. 검증 실행 시에는 소규모 샘플 파라미터를 사용하여 오류를 저비용의 프리 프로덕션 단계로 이동시키며, 스케일 실행 시에는 프로덕션 파라미터를 사용한다. 이를 통해 실행 단계에서 LLM 토큰 소비를 제로(0)로 만든다.
4. 품질 체크 모듈 (Quality Check Module): LLM을 사용하지 않는 규칙 기반의 결정론적 평가기로서, 다섯 가지 차원(구조, 콘텐츠, 관련성, 첨부 파일, 실행)에 따라 결과를 점수화한다. 이는 종합 점수($S$)와 에러 보고서를 생성한다.
5. 피드백 수정 모듈 (Feedback Correction Module): 품질 보고서를 구조화된 피드백 제약(예: 실패 블랙리스트, 금지된 가설)으로 변환한다. 인스턴스화 에이전트는 이러한 새로운 제약 하에서 설정을 재생성하여 폐쇄 루프를 형성한다.

3. 주요 기여

1. 6가지 유형의 수집기 분류 체계: 수집 작업을 표준화하기 위해 명시적 경계와 구성 규칙을 가진 공식적인 분류 체계를 제공한다.
2. 제약 기반 에이전트 프레임워크: LLM의 출력을 자유 형식의 코드가 아닌, 4단계 중첩 제약 계층(유형 $\to$ 템플릿 $\to$ 유틸리티 $\to$ 검증)을 따르는 타입 지정 JSON 설정으로 전환한다.
3. 검증 가능한 폐쇄 루프: 규칙 기반의 품질 게이팅과 구조화된 피드백 수정을 사용하는 "생성-실행-체크-수정" 메커니즘을 통해 감사 가능한 실패 신호를 구현한다.
4. 다단계 실험적 검증: 요구사항 분류, 수집기 인스턴스화, 런타임 LLM 베이스라인 대비 품질-비용 트레이드오프, Airflow 호환성을 포함한 포괄적인 테스트를 수행한다.

4. 실험 결과

프레임け은 138개의 수집 태스크(80개는 소스 검증됨) 데이터셋을 통해 평가되었다.

• 요구사항 분류: 시스템은 수집기 유형을 분류하는 데 있어 Macro-F1 0.7793을 달성하여, 규칙 기반 키워드 베이스라인(0.7562)을 능가했다. 단, 저자들은 모호한 태스크(예: "detail" vs "list")의 경우 설명만으로는 불충분하므로 선제적 조사가 필요하다고 언급했다.
• 수집기 인스턴스화: 제약 기반 프레임워크는 평균 품질 점수 0.5369와 통과율 **55.07%**를 달성하여, 비제약 LLM 생성(품질 0.4876, 유형 일치율 18.84%) 및 규칙 기반 베이스라인을 크게 앞질렀다.
• 품질-비용 트레이드오프 (80개 소스 검증 태스크 기준):
  • 런타임 LLM 베이스라인 (예: Schema-constrained LLM, Crawl4AI): 더 높은 원샷(one-shot) 품질(0.7051 및 0.6996)과 통과율(81.25% 및 80.00%)을 보였으나, 높은 비용(실행당 3,4004,200 토큰)과 긴 실제 실행 시간(1416초)이 소요되었다.
  • 제안된 프레임워크: 더 낮은 원샷 품질(0.5631)과 통과율(50.00%)을 기록했으나, 실행 단계에서 LLM 토큰을 전혀 사용하지 않았으며 가장 짧은 실행 시간(5.052초)을 달성했다.
• 피드백 수정: 의도적으로 결함이 있는 설정에 적용했을 때, 피드백 수정은 평균 최종 품질을 0.5087에서 0.9007로, 통과율을 0.72%에서 **100%**로 향상시켜 알려진 결함 유형에 대한 복구 메커니즘의 효능을 입증했다.
• 엔지니어링 검증: 생성된 138개 설정 모두 공유 템플릿에 기반하였으며(재사용률 100%), Airflow 2.8.0 내에서 성공적으로 실행되었다.

5. 의의 및 주장

본 논문은 이 프레임워크를 런타임 LLM 추출을 대체하는 일반적인 도구가 아니라, 반복적이고 예정된 데이터 수집에 적합한 재사용 가능하고 저비용이며 검증 가능한 실행 경로로 포지셔닝한다.

• "실패를 안전하게 만들기"의 철학: 저자들은 제어된 명시적 실패(유형 제약, 스키마 검증, 규칙 기반 게이팅을 통한)가 통제되지 않은 침묵하는 성공보다 바람직하다고 주장한다. 실패는 침묵하는 데이터 오염이 아니라 감사 가능하고 추적 가능한 신호가 된다.
• 트레이드오프 인정: 논문은 제안된 프레임워크가 런타임 LLM 베이스라인보다 원샷 품질은 낮지만, 결정론적이고 분할 상환 가능한 비용 모델을 제공한다는 점을 겸허히 인정한다. LLM 비용을 일회성 설정 생성 단계로 전환함으로써, 실행 속도와 토큰 비용이 중요한 고빈도 예약 수집 작업에서 경제적 타당성을 확보한다.
• 한계점: 저자들은 구성된 요구사항을 사용했다는 점, 장기적인 유의성 검정이 부족하다는 점, 그리고 복잡한 상호작용 페이지 및 인증 경계에 대한 민감성 등 한계점을 명시했다. 본 프레임워크는 규정을 준수하는 공개 접근 가능한 데이터 시나리오를 위해 설계되었다.