ASDA: Automated Skill Distillation and Adaptation for Financial Reasoning

이 논문은 대규모 언어 모델을 재학습 없이 금융 추론 작업에 적응시키기 위해, 오차 분석과 교정을 통해 구조화된 기술 아티팩트를 자동 생성하고 추론 시 동적으로 주입하는 'ASDA' 프레임워크를 제안하며, 이를 통해 기존 무학습 방법들을 크게 능가하는 성능 향상을 달성함을 보여줍니다.

핵심

ASDA: 금융 전문가를 위한 'AI 맞춤형 교재' 만들기

이 논문은 **"거대한 인공지능 (LLM) 을 금융 전문가처럼 만들 때, 모델을 다시 훈련시키지 않고도 어떻게 쉽게 고칠 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

기존 방식은 AI 의 두뇌 (가중치) 자체를 수정하는 '미세 조정 (Fine-tuning)'이었지만, 이는 비용이 너무 비싸고, AI 버전이 바뀌면 다시 해야 하는 번거로움이 있었습니다. 이 논문은 ASDA라는 새로운 방법을 소개하며, "AI 가 틀린 문제를 분석해서, 그에게 딱 맞는 '해설집'과 '체크리스트'를 만들어주는" 방식을 제안합니다.

---

🧩 핵심 비유: "수험생과 해설집"

이 논문의 아이디어를 이해하기 위해 **수능을 준비하는 학생 (AI)**과 **해설집 (ASDA)**을 상상해 보세요.

1. 기존 방식 (미세 조정):
   학생의 머릿속을 완전히 갈아엎고, 금융 지식만 주입하는 방식입니다. 하지만 이 학생이 시험장에서 실수하면, 그 실수를 고치기 위해 다시 머리를 수술해야 합니다. 비용도 많이 들고, 학생이 성장해서 새로운 버전이 되면 다시 수술해야 합니다.

2. 새로운 방식 (ASDA):
   학생의 머리를 건드리지 않습니다. 대신, **선생님 (더 똑똑한 AI)**이 학생이 틀린 문제를 분석합니다.

   • "아, 너는 '이자 계산'할 때 공식을 잘못 썼구나."
   • "너는 '조건'을 하나 빠뜨렸구나."

   그리고 이 분석 결과를 바탕으로 **학생이 실수할 때마다 펼쳐볼 수 있는 '맞춤형 해설집 (Skill Files)'**을 만듭니다. 시험을 볼 때 이 해설집을 옆에 두고 문제를 풀면, 실수를 줄이고 정답률을 높일 수 있습니다.

---

🚀 ASDA 가 어떻게 작동할까요? (3 단계 프로세스)

1 단계: 실수 분석 및 해설집 초안 작성 (Warm-up)

• 상황: AI 가 금융 문제를 풀다가 틀립니다.
• 행동: 더 똑똑한 AI(선생님) 가 "왜 틀렸지?"를 분석합니다.
  • "아, 이 학생은 '선물 가격'을 계산할 때 순서를 잘못 잡았네."
  • "이 학생은 '통화 단위'를 혼동했네."
• 결과: 이 분석을 바탕으로 구조화된 해설집을 만듭니다.
  • 예: "채권 가격 계산 시 실수하지 않는 5 가지 방법"이라는 제목의 파일이 생성됩니다. 여기에는 "어떤 상황에서 쓰는지", "단계별 계산법", "코딩 예제", "흔한 실수 목록"이 담겨 있습니다.

2 단계: 반복적인 수정과 다듬기 (Iterative Refinement)

• 상황: 처음 만든 해설집을 AI 에게 주니, 틀리던 문제는 고쳐졌지만, 정답이던 문제까지 틀리는 경우가 생깁니다. (예: 해설집이 너무 길어서 오히려 혼란을 줌)
• 행동:
  • 보완: 아직 해결되지 않은 새로운 실수 유형이 있다면 해설집에 내용을 추가합니다.
  • 안전 장치: 해설집 때문에 정답이 틀려진다면, 해설집의 내용을 다듬어서 그 부작용을 제거합니다.
• 결과: AI 가 실수하지 않고, 정답도 망치지 않는 '완벽한 해설집'이 완성됩니다.

3 단계: 시험 당일 (Inference)

• 상황: 새로운 금융 문제가 들어옵니다.
• 행동: AI 는 문제를 읽자마자, **"이 문제는 어떤 유형인가?"**를 판단하고, 해설집에서 딱 맞는 페이지를 찾아냅니다.
• 결과: AI 는 해설집의 조언을 따라 문제를 풀어서 정답을 냅니다.

---

💡 이 방법의 놀라운 점 (핵심 발견)

1. 스스로 가르치는 능력 (Self-Teaching):
   놀랍게도, 더 똑똑한 '선생님 AI'가 없어도, 학생 AI 스스로가 자신의 실수를 분석해 해설집을 만들면 성능이 크게 향상됩니다. 즉, "내가 어디서 틀렸는지 아는 것"만으로도 충분히 고칠 수 있다는 뜻입니다.

2. 모델 전용 해설집:
   A 학생을 위해 만든 해설집을 B 학생에게 주면, 오히려 성적이 떨어질 수 있습니다. 각 AI 모델마다 실수하는 패턴이 다르기 때문입니다. 따라서 각 AI 모델마다 전용 해설집을 만들어야 합니다.

3. 비용 효율성:
   이 해설집을 만드는 데 드는 비용은 약 **13 달러 (약 1 만 8 천 원)**와 6 시간 정도입니다. 기존에 AI 를 다시 훈련시키는 데 드는 수백만 달러와 수개월의 시간에 비하면 터무니없이 저렴합니다.

---

🌍 왜 이것이 중요한가요?

금융, 법률, 의료 같은 규제가 엄격한 분야에서는 AI 의 판단 근거를 명확히 보여줘야 합니다.

• 기존 방식: AI 가 왜 그런 답을 냈는지 알 수 없습니다 (블랙박스).
• ASDA 방식: AI 가 참고한 **'해설집'**은 사람이 읽을 수 있고, 수정 가능하고, 감사 (Audit) 할 수 있습니다.

결론적으로, ASDA 는 AI 의 두뇌를 수술하지 않고, 그에게 필요한 '매뉴얼'과 '체크리스트'를 제공함으로써 복잡한 금융 문제를 해결할 수 있게 해주는 혁신적인 방법입니다. 이는 기업들이 비싼 비용 없이도 자신들의 AI 를 전문 분야에 맞게 쉽게 적응시킬 수 있는 길을 열어줍니다.

기술 요약

1. 문제 정의 (Problem)

• 금융 추론의 난이도: 금융 분야는 복잡한 다단계 계산 (Quantitative calculation) 과 깊은 도메인 지식 (Domain-specific judgment) 을 동시에 요구합니다. 일반적인 LLM 은 이러한 복합적인 추론에서 성능 한계 (Ceiling) 에 직면합니다.
• 기존 방법의 한계:
  • 파인튜닝 (Fine-tuning): 비용이 많이 들고, 모델이 업데이트될 때마다 지식이 유실되며 (Model-locked), 블랙박스 API 를 제공하는 상용 LLM 에 적용하기 어렵습니다.
  • 기존 프롬프트 최적화 (GEPA, ACE 등): 훈련 없이 텍스트 기반 프롬프트를 최적화하지만, 이는 구조화되지 않은 평면적인 텍스트 (Flat text) 에 불과하여 복잡한 다단계 추론에 필요한 모듈성과 실행 가능성을 제공하지 못합니다.
• 핵심 과제: 모델 가중치를 변경하지 않으면서, 구조화된 실행 가능한 '기술 (Skill)'을 자동으로 생성하여 모델의 도메인 추론 능력을 향상시키는 방법론이 필요합니다.

2. 제안 방법: ASDA 프레임워크 (Methodology)

ASDA 는 Teacher-Student 아키텍처를 기반으로 하며, 모델 가중치 수정 없이 오직 오류 분석 (Error Analysis) 을 통해 구조화된 '기술 파일 (Skill Files)'을 생성합니다.

핵심 구성 요소

1. 기술 (Skill) 의 정의:

   • 단순한 프롬프트가 아닌, 실행 가능한 에이전트 기술입니다.
   • 특정 금융 하위 분야 (Subfield) 와 오류 유형 (Error Type) 에 따라 그룹화된 구조화된 마크다운 파일입니다.
   • 각 파일에는 지식 격차 설명, 사용 조건, 단계별 추론 절차, 코드 템플릿, 그리고 실례 (Worked examples) 가 포함됩니다.
   • Agent Skills 오픈 표준과 호환됩니다.

2. 작동 프로세스:

   • Phase 1: Skills Warm-up (초기화)

     • 오류 분석: 학생 모델 (Student) 이 훈련 데이터에서 틀린 문제에 대해 Teacher 모델이 실패 원인을 분석합니다.
     • 클러스터링: 오류를 하위 분야 (예: 고정 수익, 파생상품) 와 오류 유형 (예: 잘못된 방법 선택, 개념 혼동) 으로 분류합니다.
     • 기술 생성: 각 클러스터별로 Teacher 모델이 해당 오류를 수정하는 구체적인 절차와 코드가 포함된 기술 파일을 생성합니다.
     • 주입 (Injection): 추론 시, LLM 기반 선택기 (Selector) 가 질문의 특성에 맞는 기술 파일을 식별하여 학생 모델의 프롬프트에 동적으로 주입합니다.

   • Phase 2: Dual-Phase Iterative Refinement (이중 단계 반복 정제)

     • Coverage Phase (커버리지 확장): 기존 기술로 해결되지 않은 오류 (Q_gap) 를 분석하여 새로운 패턴을 추가하거나 기존 기술을 확장합니다.
     • Safety Phase (안전성 확보): 기술 주입으로 인해 기존에 맞던 문제가 틀리는 경우 (Regression, Q_minus) 를 식별하고, 이를 수정하여 정확도를 유지합니다.
     • 검증 게이트 (Verification Gate): 모든 기술 업데이트는 사전 정의된 정확도 임계값을 통과해야만 라이브러리에 반영됩니다.

3. 주요 기여 (Key Contributions)

1. ASDA 프레임워크: 블랙박스 LLM 접근만으로도 도메인별 실행 가능 기술을 자동 생성하는 최초의 시스템입니다. 모델 가중치 업데이트나 그래디언트 계산이 필요 없습니다.
2. 자가 학습 (Self-Teaching) 가능성: 더 강력한 Teacher 모델 없이, 학생 모델이 자신의 오류를 분석하고 기술을 생성하여 스스로 개선할 수 있음을 증명했습니다 (전체 성능 향상의 73% 달성).
3. 검증 가능하고 버전 관리 가능한 적응: 생성된 기술 파일은 인간이 읽을 수 있고, 버전 관리가 가능하며, 모델이 업데이트될 때 재생성할 수 있어 규제 산업 (금융, 법률 등) 에 실용적입니다.

4. 실험 결과 (Results)

• 벤치마크: 금융 추론 벤치마크인 FAMMA를 사용했습니다. (산술 추론 및 비산술 추론으로 구분)
• 성능 향상:
  • Haiku 3.5 모델 기준:
    • 산술 추론: 베이스라인 대비 +17.33%p 향상 (Warm-up +8.67%p, Iterative Refinement 후 추가 향상).
    • 비산술 추론: 베이스라인 대비 +5.95%p 향상.
  • 기존 방법 대비: GEPA, ACE 와 같은 기존 훈련 없는 방법론들은 미미한 향상만 보인 반면, ASDA 는 압도적인 성능 차이를 보였습니다.
• 자가 학습 효과: 더 강력한 Teacher 모델 (Sonnet 4.5) 을 사용하지 않고 학생 모델 (Haiku 3.5) 만으로 학습했을 때, 산술 추론에서 +6.33%p (전체 향상의 73%) 의 개선을 달성했습니다. 이는 개선의 주된 원인이 Teacher 의 지식 자체가 아니라, 오류 패턴을 체계적으로 구조화하는 과정임을 시사합니다.
• 모델 간 전이 (Cross-Transfer): 한 모델 (Haiku 3.5) 에서 생성된 기술을 다른 모델 (Haiku 4.5) 에 적용하면 오히려 성능이 저하되었습니다. 이는 기술이 모델 고유의 실패 분포에 맞춰진 것임을 의미하며, 각 배포 모델마다 독립적으로 기술을 생성해야 함을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• 새로운 적응 패러다임: ASDA 는 모델 가중치를 수정하는 대신, 모델과 배포 환경 사이에 검증 가능한 지식 레이어 (Skill Library) 를 추가하는 새로운 접근법을 제시합니다.
• 실무 적용성:
  • 규제 산업에서 블랙박스 API 를 사용하는 기업들이 별도의 파인튜닝 비용 없이, labeled 데이터만 있으면 자체적으로 도메인 적응을 수행할 수 있습니다.
  • 생성된 기술 파일은 감사 (Audit) 가 가능하고, 규제 준수 팀이 검토할 수 있으며, 엔지니어링 팀이 모델 업그레이드 시 쉽게 재생성할 수 있습니다.
• 비용 효율성: 약 13 달러의 비용과 약 6 시간의 시간으로 도메인 적응이 가능하여 확장성이 뛰어납니다.
• 한계 및 향후 과제: 현재는 FAMMA 데이터셋과 Claude 모델 계열에 국한되어 있으며, OCR 오류가 포함된 데이터에서 학습된 기술이 정제된 데이터에서 오작동할 수 있는 위험이 있습니다. 향후 법률 및 세무 추론 등 다른 구조화된 도메인으로의 확장이 필요합니다.

요약: ASDA 는 LLM 의 실패 사례를 분석하여 구조화된 '기술 파일'을 자동 생성함으로써, 모델의 가중치를 건드리지 않고도 금융 추론 능력을 획기적으로 향상시키는 혁신적인 프레임워크입니다. 이는 특히 블랙박스 LLM 을 사용하는 기업들에게 실용적이고 검증 가능한 도메인 적응 솔루션을 제공합니다.