PolySkill: Learning Generalizable Skills Through Polymorphic Abstraction

이 논문은 소프트웨어 공학의 다형성 개념을 차용하여 에이전트의 목표와 실행 방식을 분리함으로써 웹 환경에서 재사용 가능하고 일반화되는 기술을 학습하는 새로운 프레임워크 'PolySkill'을 제안하고, 이를 통해 기존 방법 대비 성능과 적응력을 크게 향상시켰음을 보여줍니다.

핵심

폴리스킬 (PolySkill): 웹 에이전트의 '만능 열쇠' 만들기

이 논문은 인공지능 (AI) 이 인터넷을 돌아다니며 작업을 도와주는 '웹 에이전트'가 더 똑똑하고 유연하게 변할 수 있도록 돕는 새로운 방법, **폴리스킬 (PolySkill)**을 소개합니다.

기존의 AI 는 특정 웹사이트 (예: 아마존) 에서만 잘 작동하다가, 조금만 다른 사이트 (예: 타겟) 로 가면 일을 못 하는 경우가 많았습니다. 마치 아마존 전용 열쇠를 만들어서 타겟 문에 꽂으려다 고장 나버린 것과 비슷하죠.

폴리스킬은 이 문제를 해결하기 위해 소프트웨어 공학의 '다형성 (Polymorphism)' 개념을 차용했습니다. 이를 쉽게 설명해 드릴게요.

---

🏠 비유: "쇼핑몰 관리인" 이야기

가상 세계에 **쇼핑몰 관리인 (웹 에이전트)**이 있다고 상상해 보세요.

1. 기존 방식의 문제점: "하나의 열쇠, 하나의 문"

기존의 AI 는 새로운 쇼핑몰 (웹사이트) 을 만나면, 그 쇼핑몰의 문이 어떻게 생겼는지 하나하나 외워서 그곳에만 맞는 열쇠를 만듭니다.

• 아마존 관리인: "아마존 문은 손잡이가 둥글고, 비밀번호는 4 자리야. 이걸로만 열 수 있어!"
• 타겟 관리인: "타겟 문은 손잡이가 네모지고, 비밀번호는 6 자리야. 이걸로만 열 수 있어!"

문제는 아마존에서 배운 지식을 타겟에 쓸 수 없다는 점입니다. 만약 100 개의 쇼핑몰을 다 다닌다면, 관리인은 100 개의 서로 다른 열쇠를 외워야 하고, 기억이 나지 않아서 실수할 수도 있습니다. 이를 논문에서는 **'과도한 전문화 (Over-specialization)'**라고 부릅니다.

2. 폴리스킬의 해결책: "만능 열쇠 (Abstract Key)" 만들기

폴리스킬은 관리인에게 원칙을 가르칩니다.

• 원칙 (추상화): "모든 쇼핑몰에는 '물건 찾기 (검색)', '장바구니 담기', **'결제하기'**라는 3 가지 기본 행동이 있어."
• 구체화 (구현): "하지만 아마존에서는 '찾기' 버튼을 누르고, 타겟에서는 '찾기' 아이콘을 터치하는 식으로 방법은 다를 수 있어."

이제 관리인은 **원칙 (원하는 결과)**과 **방법 (구체적인 행동)**을 분리해서 생각합니다.

• 원칙: "물건을 찾아야 해." (이건 모든 쇼핑몰에 똑같이 적용됨)
• 방법: "아마존에서는 검색창에 입력하고, 타겟에서는 음성으로 말해." (사이트마다 다름)

이렇게 하면 관리인은 새로운 쇼핑몰을 처음 만나도, "아, 여기는 쇼핑몰이구나. 그럼 '물건 찾기' 원칙을 적용해서 방법을 찾아보자!"라고 생각할 수 있게 됩니다.

---

🚀 폴리스킬이 가져온 변화

이 논문은 이 방법이 얼마나 효과적인지 실험으로 증명했습니다.

1. 더 넓은 세상으로 진출 (일반화 능력 향상):

   • 기존 방식은 새로운 쇼핑몰에 가면 실패율이 높았지만, 폴리스킬을 쓴 AI 는 보지 못한 웹사이트에서도 성공률이 13.9% 나 높아졌습니다.
   • 마치 한국에서 운전하는 법을 배운 사람이, 미국에 가서도 운전대만 잡으면 바로 운전할 수 있는 것과 같습니다.

2. 작업 속도 향상 (효율성):

   • 불필요한 시행착오를 줄여서, 작업을 완료하는 데 걸리는 단계 (클릭 수) 가 20% 이상 줄어들었습니다.
   • 열쇠를 100 개나 가지고 다닐 필요 없이, 만능 열쇠 하나면 모든 문을 열 수 있으니 훨씬 빠릅니다.

3. 스스로 배우는 능력 (자율 학습):

   • 사람이 시키지 않아도, AI 가 스스로 "이 쇼핑몰은 어떤 특징이 있을까?"라고 탐험하며 새로운 기술을 스스로 습득할 수 있게 되었습니다.

---

💡 핵심 요약

• 문제: 기존 AI 는 특정 사이트에 딱 맞춰져서, 다른 사이트로 가면 일을 못 함.
• 해결: 폴리스킬은 '무엇을 할 것인가 (목표)'와 '어떻게 할 것인가 (방법)'를 분리함.
• 비유: 특정 문에만 맞는 열쇠를 만드는 대신, 모든 문에 적용 가능한 **원리 (만능 열쇠)**를 배우게 함.
• 결과: AI 가 새로운 웹사이트에서도 더 빠르고 정확하게 일할 수 있게 됨.

이 기술은 앞으로 우리가 인터넷에서 쇼핑을 하거나 복잡한 업무를 처리할 때, AI 가 실수 없이, 더 똑똑하게 도와줄 수 있는 토대가 될 것입니다. 마치 경험이 풍부한 베테랑 여행 가이드가 어떤 나라에 가도 현지 문화를 빠르게 익혀서 우리를 안내하는 것과 같습니다.

기술 요약

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 기반 에이전트, 특히 웹 에이전트는 외부 환경과 상호작용하며 재사용 가능한 기술 (Skill) 을 학습해야 합니다. 그러나 기존 방법론 (예: Voyager, Agent Workflow Memory, ASI, SkillWeaver 등) 은 다음과 같은 근본적인 한계를 가집니다.

• 과도한 특화 (Over-specialization): 학습된 기술이 특정 웹사이트의 UI 구조나 코드에 너무 깊게 종속되어, 다른 웹사이트나 도메인으로 전이 (Transfer) 될 때 실패합니다.
• 일반화 부재: 하나의 웹사이트에서 학습한 기술이 기능적으로 유사한 다른 웹사이트 (예: 다른 항공사 예약 사이트, 다른 쇼핑몰) 에서 재사용되지 못합니다.
• 평가 지표의 한계: 기존 연구는 주로 '작업 성공률 (Task Success Rate)'만을 측정하여, 에이전트가 기술을 효율적으로 재사용했는지 아니면 매번 처음부터 해결했는지를 구분하지 못했습니다.

이러한 문제를 해결하기 위해, 기술의 추상적 목표 (무엇을 달성하는가) 와 구체적 구현 (어떻게 실행하는가) 을 분리하여 학습할 수 있는 프레임워크가 필요합니다.

2. 방법론: PolySkill (Methodology)

저자들은 소프트웨어 공학의 다형성 (Polymorphism) 개념을 에이전트 기술 학습에 도입한 PolySkill 프레임워크를 제안합니다. 이는 객체 지향 설계 (OOP) 의 핵심 원리를 차용하여 에이전트의 지속적인 학습 (Continual Learning) 을 가능하게 합니다.

핵심 아이디어: 다형성 추상화 (Polymorphic Abstraction)

• 추상 클래스 (Abstract Class) 정의: 특정 도메인 (예: 쇼핑) 에 대한 공통 인터페이스를 정의합니다. 예를 들어, AbstractShoppingSite 클래스는 search_product(), add_to_cart(), checkout() 과 같은 고수준 메서드 시그니처를 포함합니다.
• 구체적 서브클래스 (Concrete Subclasses): 각 특정 웹사이트 (예: AmazonSite, TargetSite) 는 이 추상 클래스를 상속받아 구체적인 UI 요소와 동작을 구현합니다.
• 구성 가능성 (Compositional Skills): 에이전트는 특정 사이트에 종속되지 않고 추상적인 레벨에서 작업 (예: 검색 -> 장바구니 담기 -> 결제) 을 체이닝할 수 있습니다. 새로운 사이트에 방문하면, 기존에 학습된 추상 인터페이스를 기반으로 해당 사이트만의 구체적인 구현만 학습하면 됩니다.

학습 파이프라인 (Skill Induction Process)

1. 작업 실행: 에이전트가 주어진 작업을 성공적으로 수행합니다.
2. 다형성 유도 (Polymorphic Induction): 성공한 궤적 (Trajectory) 을 분석하여, 먼저 도메인 수준의 추상 클래스를 생성하거나 업데이트합니다. 그 후, 현재 방문한 특정 사이트에 대한 구체적 구현을 정의합니다.
3. 검증 및 저장: 생성된 기술이 재실행되어 성공하면 라이브러리에 저장됩니다.
4. 적응적 실행: 새로운 웹사이트를 방문할 때, 에이전트는 해당 도메인의 추상 클래스를 참조하여 탐색 목표를 설정하고, 구체적인 구현을 빠르게 학습합니다.

3. 주요 기여 (Key Contributions)

1. PolySkill 프레임워크 제안: 소프트웨어 공학의 다형성 원리를 적용하여, 웹사이트 간 기술 전이 (Cross-website Generalization) 를 가능하게 하는 계층적 기술 학습 구조를 처음 제안했습니다.
2. 새로운 평가 지표 도입: 단순 성공률 외에 기술 재사용성 (Skill Reusability), 작업 커버리지 (Task Coverage), 기술 구성성 (Skill Compositionality) 을 도입하여 기술 학습의 질을 정량적으로 평가할 수 있는 체계를 마련했습니다.
3. 오픈소스 모델에서의 검증: GPT-4.1, Claude-3.7-Sonnet 과 같은 폐쇄형 모델뿐만 아니라, Qwen3-Coder, GLM-4.5와 같은 최신 오픈소스 에이전트 모델에서도 효과성을 입증했습니다.
4. 자율적 탐구 (Self-guided Exploration) 설정: 사전 정의된 작업 없이 에이전트가 스스로 목표를 설정하고 기술을 학습하는 '작업 없는 (Task-free)' 환경에서도 PolySkill 이 기존 방법론보다 우수한 일반화 능력을 보임을 증명했습니다.

4. 실험 결과 (Results)

Mind2Web 및 WebArena 벤치마크를 통해 다양한 모델과 설정에서 실험을 수행했습니다.

• 성공률 향상:
  • Mind2Web: unseen 웹사이트 (Cross-Website) 에서 성공률이 최대 9.4% 향상되었고, unseen 도메인 (Cross-Domain) 에서 13.9% 향상되었습니다.
  • WebArena: 쇼핑 도메인에서 기존 최선 방법론 (ASI) 대비 1.3~1.8 배의 성능 개선을 보였습니다.
• 기술 재사용성 (Skill Reusability):
  • 기존 방법론 (ASI, SkillWeaver) 은 unseen 웹사이트에서 기술 재사용률이 18% 미만 (심지어 3% 미만) 이었던 반면, PolySkill 은 **31%**의 재사용률을 달성했습니다.
  • 이는 에이전트가 특정 사이트에 종속되지 않고 보편적인 기술을 학습했음을 의미합니다.
• 효율성 (Steps Reduction):
  • 학습된 기술을 재사용함으로써 작업 완료에 필요한 평균 단계 수를 20% 이상 줄였습니다.
• 지속적 학습과 망각 방지:
  • 새로운 웹사이트 (Amazon, Target) 를 학습할 때 기존 지식 (WebArena) 을 잃지 않는 재학습 (Catastrophic Forgetting) 방지 능력이 탁월했습니다. PolySkill 은 새로운 기술을 학습하면서도 기존 작업 수행 능력을 유지하는 반면, ASI 는 성능이 급격히 저하되었습니다.
• 비용 효율성:
  • 초기 기술 유도 (Induction) 비용은 존재하지만, 학습된 기술을 재사용함으로써 장기적인 추론 (Inference) 토큰 소모량을 약 10.2% 감소시켰습니다.

5. 의의 및 결론 (Significance)

이 연구는 에이전트가 다양한 환경에서 지속적으로 학습하고 적응하기 위한 중요한 이정표입니다.

• 개념적 전환: 기술 학습을 '단순한 스크립트 축적'이 아닌 '추상적 인터페이스와 구체적 구현의 분리'라는 구조적 관점에서 접근함으로써, 웹 에이전트의 일반화 능력을 획기적으로 향상시켰습니다.
• 실용성: 오픈소스 모델에서도 효과가 입증되어, 비용 효율적이고 확장 가능한 자율 에이전트 개발의 실용적인 경로를 제시했습니다.
• 확장성: 이 다형성 추상화 원리는 웹 에이전트를 넘어 로봇 공학 (물리적 환경), 도구 사용 (소프트웨어 인터페이스) 등 구조적 패턴이 공유되는 다양한 도메인의 에이전트 학습에도 적용 가능한 잠재력을 가집니다.

결론적으로, PolySkill은 에이전트가 특정 환경에 국한되지 않고, 개방형 웹 (Open Web) 에서 지속적으로 학습하고 일반화할 수 있는 능력을 갖추기 위한 핵심적인 기술적 진전을 이루었습니다.