Talking Trees: Reasoning-Assisted Induction of Decision Trees for Tabular Data

이 논문은 사전 학습된 대형 언어 모델 (LLM) 을 에이전트로 활용하여 소규모 테이블 데이터에 대해 해석 가능하고 공정성 제약 조건을 반영한 의사결정 트리를 자동 생성함으로써, 블랙박스 기반 모델과 경쟁력 있는 성능을 내면서도 투명성을 확보하는 새로운 접근법을 제시합니다.

핵심

이 논문은 **"말하는 나무 (Talking Trees)"**라는 흥미로운 프로젝트에 대한 이야기입니다. 쉽게 말해, **"인공지능 (LLM) 이 작은 데이터로 '의사결정 나무'를 직접 설계하고, 우리가 원하는 대로 그 나무를 다듬어 주는 새로운 방법"**을 제안합니다.

기존의 복잡한 AI 모델들이 어떻게 작동하는지 알 수 없는 '블랙박스 (Black Box)'라면, 이 방법은 그 나무가 어떻게 자랐는지, 어떤 가지가 어떻게 뻗어 나갔는지 모두 우리가 눈으로 확인할 수 있는 '투명한 유리 상자' 같은 모델을 만듭니다.

이 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 문제 상황: 거대한 '블랙박스' AI 의 한계

지금까지 작은 데이터 (예: 환자 100 명, 고객 500 명) 로 문제를 해결할 때, 우리는 거대한 AI 모델을 사용하곤 했습니다.

• 비유: 마치 초고층 빌딩을 짓는 것과 같습니다.
• 장점: 데이터가 적어도 미리 쌓아둔 엄청난 지식 (사전 학습) 덕분에 성능이 좋습니다.
• 단점:
  1. 블랙박스: 빌딩 내부가 어떻게 되어 있는지 알 수 없습니다. "왜 이 환자를 위험하다고 판단했죠?"라고 물어봐도 AI 는 "내 머릿속 계산 때문이야"라고만 답합니다.
  2. 무거움: 예측할 때마다 거대한 서버가 돌아가야 해서 비용이 많이 듭니다.

2. 이 논문이 제안한 해결책: "현명한 정원사 (AI 에이전트)"

저자들은 거대한 빌딩 대신, **작고 깔끔한 '정원 (의사결정 나무)'**을 만들자는 아이디어를 냈습니다. 하지만 이 정원을 직접 가꾸는 건 사람이 아니라, **생각할 줄 아는 AI(거대 언어 모델, LLM)**입니다.

• 비유: 우리는 AI 에게 "정원사" 역할을 시킵니다.
  • AI 는 단순히 나무를 그리는 게 아니라, **도구 (가위, 흙, 물뿌리개 등)**를 들고 직접 나무를 자르고, 가지치기를 하고, 새로운 가지를 붙입니다.
  • 작동 방식:
    1. 생각 (Thought): "이 가지가 너무 길어서 예측이 안 맞네. 잘라야겠다."
    2. 행동 (Action): 가위로 자르는 코드를 실행.
    3. 관찰 (Observation): "오, 잘라보니까 예측 정확도가 올랐어!"
    4. 이 과정을 반복하며 가장 좋은 나무를 완성합니다.

3. 이 방법의 세 가지 큰 장점

① 가볍고 빠름 (Lightweight)

• 비유: 거대한 초고층 빌딩 (기존 AI) 을 매일 타고 다니는 대신, 한 번만 설계해서 만든 작은 정글글라이더를 타는 것과 같습니다.
• 설명: AI(정원사) 는 나무를 설계하는 '훈련' 단계에서만 한 번만 일합니다. 일단 나무가 완성되면, 실제 예측을 할 때는 AI 를 부를 필요가 없습니다. 그냥 나무의 가지 (규칙) 를 따라가면 되므로 매우 빠르고 저렴합니다.

② 우리가 원하는 대로 조절 가능 (Controllable)

• 비유: 정원사에게 **"이 나무는 햇빛을 많이 받으면 열매가 더 많이 열려야 해"**라고 말하면, AI 가 그 규칙을 지켜가며 나무를 자릅니다.
• 실제 예시:
  • 공정성 (Fairness): "성별에 따라 대우가 달라지면 안 돼."라고 말하면, AI 는 성별과 관련된 가지를 잘라내거나 균형을 맞춥니다.
  • 결측치 처리: "훈련 데이터엔 '혈당' 수치가 없는데, 실제 진료 때는 혈당 수치가 중요해."라고 말하면, AI 는 그 사실을 알고 있으면서도 혈당 데이터가 없는 상태에서 어떻게 예측할지 논리적으로 나무를 설계합니다.
  • 단조로움: "연봉이 높을수록 대출 승인 확률이 높아져야 해."라고 하면, AI 는 그 방향으로만 가지가 뻗게 만듭니다.

③ 투명하고 설명 가능 (Interpretability)

• 비유: 거대 AI 는 "내가 이렇게 판단했어"라고만 말하지만, 이 방법은 **"내가 이렇게 생각해서 이 가지를 잘랐고, 저 가지를 붙였어"**라고 **작업 일지 (Reasoning Trace)**를 보여줍니다.
• 효과: "왜 이 환자를 거절했죠?"라고 물으면, AI 가 만든 나무의 경로와 그 과정에서 AI 가 내린 생각들을 모두 보여줄 수 있어, 편향이나 오류를 찾기 쉽습니다.

4. 성능은 어떨까?

• 결과: 작은 데이터셋에서 이 방법이 만든 '말하는 나무'는 기존에 가장 성능이 좋았던 복잡한 AI 모델들 (블랙박스) 과 비슷하거나 거의 뒤지지 않는 성능을 냅니다.
• 의미: 굳이 무거운 빌딩을 지을 필요 없이, 작은 정원으로도 충분히 좋은 결과를 얻을 수 있다는 뜻입니다.

5. 결론: "인간과 AI 의 협업"

이 연구의 핵심은 **"AI 가 혼자 모든 걸 하는 게 아니라, 인간이 말로 지시하면 AI 가 그 지시를 이해하고 직접 나무를 가꾸어준다"**는 점입니다.

• 예시: "이 나무는 공정해야 해."라고 말하면, AI 는 그 말을 듣고 나무를 다듬습니다.
• 미래: 앞으로 의료, 금융, 법률처럼 결과의 이유를 설명해야 하는 중요한 분야에서, 복잡한 AI 대신 이렇게 투명하고 가볍고 인간이 통제할 수 있는 '말하는 나무'가 널리 쓰일 수 있을 것입니다.

한 줄 요약:

"복잡하고 무거운 AI 대신, 우리가 말로 지시하면 스스로 생각하며 작은 '의사결정 나무'를 직접 가꾸는 똑똑한 AI 정원사를 소개합니다. 이 나무는 가볍고, 빠르며, 우리가 원하는 대로 공정하게 자라나고, 그 이유를 모두 설명해 줍니다."

기술 요약

논리 나무 (Talking Trees): 표형 데이터 (Tabular Data) 를 위한 추론 기반 의사결정나무 유도 기술 요약

이 논문은 표형 데이터 (Tabular Data) 예측 문제에서, 기존 블랙박스 기반의 대형 모델들의 한계를 극복하고 가볍고 해석 가능하며 제어 가능한 대안을 제시하는 새로운 방법론을 제안합니다. 저자들은 추론 능력을 갖춘 LLM(대규모 언어 모델) 에이전트를 활용하여, 소규모 데이터셋에서도 경쟁력 있는 성능을 내면서도 인간이 읽을 수 있는 의사결정나무 (Decision Tree) 를 자동으로 생성하는 프레임워크인 'Talking Trees' 를 소개합니다.

---

1. 문제 제기 (Problem)

• 블랙박스 모델의 한계: 최근 소규모 표형 데이터 문제를 해결하기 위해 대규모 데이터로 사전 학습된 '표형 파운데이션 모델 (Tabular Foundation Models)'이 각광받고 있습니다. 그러나 이러한 모델들은 블랙박스 성격을 띠고 있어 해석 가능성 (Interpretability) 이 낮고, 추론 시 높은 계산 비용과 메모리를 요구합니다.
• 실무 환경의 복잡성: 실제 배포 환경에서는 데이터셋에 명시적으로 포함되지 않은 도메인 지식 (Domain Knowledge), 규제 제약 (공정성, 안전성), 단조성 (Monotonicity) 등의 제약 조건이 중요합니다. 기존 블랙박스 모델은 이러한 비공식적인 제약을 반영하기 어렵습니다.
• 기존 접근법의 부족: LLM 을 추론 엔진으로 직접 사용하는 방식은 추론 비용이 높고 여전히 블랙박스이며, 기존 의사결정나무 생성 방식은 복잡한 제약 조건을 반영하거나 데이터의 미묘한 패턴을 학습하는 데 한계가 있습니다.

2. 방법론 (Methodology)

저자들은 의사결정나무 생성 과정을 에이전트 사고 - 행동 - 관찰 루프 (Agentic Thought-Action-Observation Loop) 로 재정의했습니다.

• 에이전트 기반 트리 유도 (Agentic Tree Induction):

  • LLM 에이전트가 트리 전체를 한 번에 생성하는 것이 아니라, 점진적으로 (Incrementally) 트리를 수정하고 개선합니다.
  • 도구 세트 (Toolset): 에이전트는 트리를 분석하고 조작하기 위한 맞춤형 도구 세트를 사용합니다.
    • View tree: 트리 구조 텍스트 출력 및 노드 식별.
    • Prune subtree: 특정 노드를 리프 (Leaf) 로 변환 (가지치기).
    • Select data: 특정 노드를 통과하는 데이터 샘플 선택.
    • Graft subtree: 기존 트리의 특정 노드를 새로운 서브트리로 교체 (접목).
  • 이 도구들을 통해 에이전트는 데이터 학습, 가설 검증, 오류 수정을 반복하며 최적의 트리를 구축합니다.

• 가벼운 추론 (Lightweight Inference):

  • LLM 은 학습 단계 (Training Time) 에서만 트리를 생성하는 데 사용됩니다.
  • 생성된 트리는 독립적인 모델로 배포되며, 추론 시에는 LLM 호출이 필요 없고 단순한 특징 비교 (Feature Comparison) 만 수행하므로 매우 가볍고 비용 효율적입니다.

• 제어 가능성 (Controllability):

  • 프롬프트를 통해 공정성 (Fairness), 단조성 제약, 결측된 특징 (Missing Features) 에 대한 도메인 지식 등을 비공식적으로 지시할 수 있습니다. 에이전트는 이를 트리 구조에 반영합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 학습 절차 도입: 추론 능력이 있는 LLM 과 소규모 도구 세트를 결합하여 표형 데이터용 의사결정나무를 구성, 검증, 정제하는 새로운 학습 프로세스를 제안했습니다.
2. 성능과 해석 가능성의 균형: 기존 CART(Decision Tree) 보다 우수한 성능을 달성하면서도, 블랙박스 파운데이션 모델에 대한 해석 가능한 대안을 제공합니다. 또한 프롬프트 수준에서 사용자 제약을 반영할 수 있습니다.
3. 오픈 소스 및 벤치마크: 향후 LLM 모델 비교를 위한 평가 코드와 벤치마킹 유틸리티를 공개했습니다.

4. 실험 결과 (Results)

• 성능 비교:

  • 저자원 (Low-resource) 환경 (샘플 수 2,500 개 이하) 에서 17 개의 OpenML 데이터셋을 대상으로 평가했습니다.
  • 제안한 에이전트 기반 트리는 기본 및 튜닝된 CART보다 대부분의 데이터셋에서 우수한 성능을 보였습니다.
  • 블랙박스 모델 (XGBoost, TabPFN 등) 에 비해서는 아직 약간의 격차가 있으나, 에이전트 트리가 TabPFN 예측을 보정하는 2 단계 파이프라인을 구성할 경우 경쟁력 있는 성능을 달성했습니다.
  • 다양한 LLM 백본 (GPT-5, Claude Opus, Kimi K2 등) 에서 실험되었으며, GPT-5 가 가장 일관된 성능을 보였습니다.

• 제어 가능성 검증:

  • 공정성 (Fairness): 'Adult' 및 'SchoolPerformance' 데이터셋에서 성별 편향을 줄이기 위한 프롬프트를 입력했을 때, 통계적 평행성 (Statistical Parity) 과 기회 균등 (Equal Opportunity) 지표가 크게 개선되었습니다.
  • 결측 특징 (Missing Features): 훈련 데이터에 없는 'Glucose' 특징에 대한 도메인 지식만 프롬프트로 제공했을 때, 에이전트는 이 특징을 활용한 트리를 구성하여 실제 테스트 데이터에서 높은 성능을 보였습니다.
  • 단조성 (Monotonicity): 특정 특징에 대한 단조성 (예: 위험도가 높을수록 예측 위험도 증가) 제약을 프롬프트로 지시했을 때, 예측 정확도를 크게 떨어뜨리지 않으면서 단조성 위반 (NMI) 을 줄였습니다.

• 데이터 유출 방지 (Data Leak Check):

  • 훈련 데이터의 의존 구조를 무작위화하여 LLM 이 데이터셋을 암기하고 있는지를 테스트했습니다. 그 결과, 의존 구조가 파괴되면 성능이 기저 수준으로 급락하여, 모델이 데이터 유출이나 암기보다는 실제 학습을 통해 성능을 냈음을 확인했습니다.

5. 의의 및 결론 (Significance)

• 해석 가능성과 투명성: 생성된 트리는 인간이 읽을 수 있는 논리 구조를 가지며, 생성 과정 (Tool calls, intermediate trees) 을 추적하여 편향이나 데이터 유출을 진단할 수 있어 고위험 분야 (금융, 의료 등) 에 적합합니다.
• 도메인 전문가의 참여 증대: 복잡한 수학적 모델링 없이 자연어 (Natural Language) 로만 모델의 행동 (공정성, 규칙 준수 등) 을 지시할 수 있어, ML 전문가가 아닌 도메인 전문가도 모델 구축에 직접 참여할 수 있게 합니다.
• 비용 효율성: LLM 의 고비용은 학습 단계에 한 번만 발생하고, 배포 시에는 일반 의사결정나무와 동일한 저비용 추론이 가능합니다.

결론적으로, 이 연구는 LLM 의 추론 능력을 표형 데이터 모델링에 효과적으로 접목하여, 성능, 해석 가능성, 제어 가능성을 모두 만족하는 새로운 패러다임을 제시했습니다. 이는 블랙박스 모델의 대안으로서, 특히 규제와 설명이 중요한 실무 환경에서 큰 잠재력을 가지고 있습니다.