Contradiction-Aware Strategy Synthesis in Agent Skills via Loop Engineering: A Controlled Empirical Comparison with Conventional Search

기술 요약: 루프 엔지니어링을 통한 에이전트 스킬의 모순 인지 전략 합성

문제 정의
본 논문은 현재의 유학 및 장학금 컨설팅에서 발생하는 두 가지 결정적인 실패 모드를 다룬다: (1) 정보 과부하: 기존의 웹 검색은 구조화되지 않고 신뢰도가 균일하지 않은 링크 목록을 반환하며, 지원자의 특정 프로필을 합성하여 제시하지 못한다. (2) 잘못된 전제: 지원자가 구조적으로 불가능한 목표(예: 오스트리아에서의 완전 장학금 기반 영어 매체 의학 학위 과정)를 추구할 때, 검색 엔진이 이러한 모순을 지적하지 못하고 방치한다. 기존 검색 엔진은 소스의 관련성에는 최적화되어 있으나, 의사결정의 질을 검증하는 메커니즘은 갖추지 못했으며 국가별 제약 조건에 따른 목표의 실현 가능성을 검증하는 기능도 결여되어 있다. "에이전트 스킬(encapsulated workflows)"이 이를 해결할 수 있다고 주장되지만, 기존 베이스라인과의 엄격하고 입력 통제된 경험적 비교 연구는 부재했다.

방법론
본 연구는 10개의 실험(9개의 국가/도메인에 걸친 9개의 실제 지원자 프로필과 1개의 희소 프로필 강건성 테스트)을 통해 엄격한 통제된 A/B 테스트 프로토로콜을 적용한다.

• 통제된 입력: "스킬(Skill)" 그룹과 "일반 웹 검색(Normal Web Search)" 그룹 모두에게 지원자와 목표를 설명하는 동일한 자연어 프롬프트를 제공한다. 스킬 그룹은 동일한 사실을 인코딩한 구조화된 JSON 프로필을 추가로 입력받는다. 이 설계는 정보 접근성의 이점이 아닌, 합성 루프(synthesis loop) 자체의 가치를 격리하여 측정한다.
• 루프 엔지니어링 프레임워크: 스킬은 5단계의 반복적 정교화 과정을 실행한다:
  • L1 (검색 및 구조화): 지원자 및 국가 관련 사실 수집.
  • L2 (모순 및 제약 탐지): 명시된 목표를 현실과 대조하여 불가능성 또는 조건 탐지.
  • L3 (정량화 및 벤치마킹): 비용, 합격률, 순 자금 격차 등을 할당.
  • L4 (전략 합성 및 실행 가능성): 옵션 순위를 매기고 타임라인 구축.
  • L5 (검증): 숫자와 일관성에 대한 프로그래밍적 재조정 및 확인.
• 지표: 본 연구는 7가지 의사결정 핵심 클래스(순위가 매겨진 자금 조합, 정량화된 순 격차, 기관 비교, 명칭이 지정된 장학금, 차트, 타임라인, 목표 타당성 판정)에 걸친 **출력 차원 커버리지(output-dimension coverage)**를 측정한다. 또한 절제 연구(ablation study)를 통해 각 루프의 한계 기여도를 정량화한다.

주요 기여

1. 통제된 비교 프로토콜: 구조화된 에이전트 스킬과 기존 웹 검색을 비교하는 최초의 다중 도메인, 입력 통제 연구로서, "더 나은 입력"이라는 혼란 변수를 제거하였다.
2. 경험적 코퍼스: 다양한 자금 체계(학비 면제, 고액 학비, 장학금 기본형)를 아우르는 20개의 아티팩트(10개의 스킬 보고서 vs 10개의 베이스라인 검색 결과) 데이터셋을 구축하였다.
3. 루프 수준의 절제 연구: 컨설팅 프로세스를 루프로 공식화하여, 루프 L2–L4가 약 69%의 의사결정급 아티팩트를 생성함을 입증함으로써, 단순한 데이터 접근이 아닌 반복의 깊이가 가치를 창출함을 증명하였다.
4. 프로그래밍적 검증: 모든 생성된 보고서를 기계적으로 검증하는 L5 단계를 통해, 단순히 구조적 주장(페이지 수, 차트 존재 여부, 판정 포함 여부)을 단언하는 것이 아니라 이를 확증한다.

결과
결과는 베이스라인 대비 스킬의 범주적 우월성을 입증한다:

• 의사결정 핵심 커버리지: 스킬은 10개 실험 전체에서 측정된 7개 차원 모두에서 100% 커버리지를 달ides. 베이스라인은 ~10% 커버리지(산재된 장학금 명칭에 국한됨)를 기록했으며, 모든 합성 의존적 차원(순위가 매겨진 조합, 정량화된 격차, 타임라인, 판정)에서는 **0%**를 기록했다.
• 모순 탐지 (결정적 테스트): 스킬은 목표 타당성(불가능, 조건부, 선택적, 일치)을 100% 정확하게 분류한다. 베이스라인은 **0%**를 기록하며, 구조적으로 불가능한 목표(예: 실험 A: 오스트리아의 영어 매체 의학 과정)를 식별하지 못하고 오히려 잘못된 전제를 유지하는 일반적인 링크들을 반환했다.
• 아티팩트 생성: 스킬은 10개의 순위가 매겨진 자금 조합, 12개월 타임라인, 그리고 "정직한 판정"을 포함한 차트가 풍부한 16페이지 분량의 PDF를 생성한다. 베이스라인은 합성 없이 약 10개의 링크가 담긴 비구조화된 목록을 반환한다.
• 강건성: 희소 프로필 실험(실험 C)에서 스킬은 플레이스홀더가 포함된 구조화된 스켈레톤 형태로 우아하게 성능을 저하시키며 "데이터 공급 필요" 판정을 내리는 반면, 베이스라인은 풍부한 입력과 동일한 일반적 링크를 반환한다.

의의 및 주장
본 논문은 고위험, 모순 발생 가능성이 높은 유학 목표에 대해 구조화된 에이전트 스킬이 기존 검색을 엄격히 압도함을 주장한다.

• 가치 창출: 주요 가치는 정보의 검색(두 그룹 모두 접근 가능)에 있는 것이 아니라, 스킬에 내재된 **합성 노동(Loops L2–L4)**에 있다. 이는 원시 데이터를 실행 가능한 계획으로 변환하여 지원자의 조립 부담을 제거한다.
• 윤리적 함의: 모순을 탐지하고 "불가능"을 명시적으로 밝히는 스킬의 능력은, 베이스라인의 "확신에 찬 불완전한" 출력이 초래할 수 있는 재정적, 시간적 손실을 방지한다.
• 범주적 격차: "100% 상대적 우위"는 수사적 표현이 아니라, 의사결정급 아티팩트(계획, 격차, 판정)를 생성하는 데 있어 베이스라인의 무능력을 직접 관찰한 결과이다.
• 향atic 방향: 저자들은 향후 장학금 도구가 7차원 커버리지 점수를 표준 지표로 채택해야 하며, 루프 엔지니어링 프레임워크를 이민이나 의료 트리아지(triage)와 같은 다른 고위험 영역으로 확장해야 한다고 제안한다.

결론적으로, 본 논문은 기존 검색이 L1 입력 소스로만 기능하는 반면, 스킬은 "수정된 계획"을 제공하므로 스킬이 지원자의 첫 번째 단계가 되어야 한다고 결론짓는다.