🤖 machine learning

DraftFM: A FoundationModel for Day-Zero Drafting in Magic: The Gathering

DraftFM은 공개된 속성과 드래프트 문맥만을 사용하여 미공개 카드의 점수를 매김으로써, 과거의 픽 데이터나 카드 정체성에 의존하지 않고도 전문가 수준의 성능을 달akh하여 매직 더 개더링의 데이 제로 드래프팅을 가능하게 하는 파운데이션 모델입니다.

원저자: Brian Ward

게시일 2026-08-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Brian Ward

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

경쟁적인 카드 게임의 세계에는 새로운 카드 세트가 공개되는 순간, 하지만 아무도 그 카드로 실제로 게임을 해보기 전이라는 시점에 발생하는 독특한 도전 과제가 있습니다. 수백 장의 새로운 카드가 들어 있는 신선한 박스를 가지고 덱을 구성하기 위해 모인 플레이어들을 상상해 보십시오. 그들은 각 카드가 실제 게임에서 어떻게 성능을 발휘할지 전혀 모르는 상태에서, 어떤 카드를 가져가고 어떤 카드를 다음 플레이어에게 넘길지를 하나씩 결정해야 합니다. 이것이 바로 '데이 제로(day-zero)' 문제입니다. 수십 년 동안, 플레이어들의 이러한 선택을 돕기 위해 설계된 컴퓨터 프로그램들은 계속 기다리는 상태에 머물러 있었습니다. 이 프로그램들은 과거의 게임으로부터 학습하는 데 의존하지만, 새로운 세트가 도착하면 학습할 과거의 데이터가 존재하지 않습니다. 데이터가 아직 존재하지 않는 것입니다. 이로 인해 플레이어들은 전적으로 인간의 직관과 전문가의 의견에 의존하게 되는데, 이는 가치가 있지만 주관적이며 사람마다 다릅니다. 연구자들에게 던져진 질문은, 컴퓨터가 완전히 새로운 세트에 대해 단 한 번의 선택도 보지 않고도 스마트한 추측을 할 수 있을 만큼 좋은 카드 선택의 일반적인 규칙을 충분히 학습할 수 있는가 하는 것이었습니다.

브라이언 워드(Brian Ward)라는 연구자는 DraftFM이라는 새로운 시스템을 통해 이 문제에 도전했습니다. 이 시스템은 특정 카드를 암기하려고 하거나 데이터가 축적되기를 기다리는 대신, 수년에 걸쳐 29개의 서로 다른 카드 세트에서 인간 플레이어들이 내린 거의 1 억 5천만 개의 선택을 학습했습니다. 핵심 혁신은 컴퓨터가 카드를 바라보는 방식에 있습니다. 시스템은 각 카드를 암기해야 할 고유한 이름으로 취급하는 대신, 모든 카드를 색상, 비용, 유형, 그리고 규칙의 텍스트와 같은 물리적 및 서술적 특성의 목록으로 분해합니다. 또한, 카드의 설명을 읽기 위해 고정된 사전 학습된 언어 이해 능력을 사용합니다. 다양한 세트를 통해 학습함으로써, 이 시스템은 이러한 특징들만을 바탕으로 무엇이 카드를 가치 있게 만드는지에 대한 패턴을 인식하는 법을 배웠습니다. 이 시스템은 카드의 이름이나 그것이 어느 세트에 속하는지는 알지 못합니다. 오직 자신이 볼 수 있는 특징들만을 알 뿐입니다. 이를 통해 시스템은 몇 년 전 공부했던 카드들에 사용했던 것과 동일한 논리를 바탕으로, 한 번도 접해보지 못한 새로운 카드를 보고 점수를 매길 수 있습니다.

이러한 접근 방식이 실제로 작동하는지 테스트하기 위해, 연구자는 훈련 데이터에서 세 개의 전체 카드 세트를 제외했습니다. 이 세트들은 모델에게 완전히 알려지지 않은 것들이었습니다. 시스템이 이 새로운 세트들에서 인간 플레이어들이 무엇을 선택할지 예측하도록 요청받았을 때, 시스템은 놀라운 정확도로 수행되었습니다. 플레이어가 수십 가지의 선택지를 가지고 있어 무작ful한 운으로 정답을 맞힐 확률이 약 7%에 불과한 드래프트의 첫 번째 선택에서, 모델은 인간의 선택과 약 51~60%의 확률로 일치했습니다. 이는 이전의 컴퓨터 모델들이 세트가 출시되고 몇 주가 지나기 전까지는 아예 시도조차 할 수 없었던 작업을 고려할 때 상당한 도약입니다. 또한 시스템은 인간 플레이어들이 선택할 수 있는 카드의 폭이 가장 넓은 드래프트의 아주 초반부에 가장 일관된 경향을 보이며, 가용한 카드의 풀이 줄어듦에 따라 선택이 더 예측 가능해진다는 점을 정확히 식별해 냈습니다.

이 시스템의 진정한 시험대는 호빗을 기반으로 한 새로운 세트의 출시였습니다. 대부분의 사람들이 드래프트를 진행하는 디지털 플랫폼에 해당 세트가 공개되기도 전에, 연구자는 DraftFM을 사용하여 해당 세트의 모든 카드에 대한 완전한 순위를 생성했습니다. 이 순위는 디지털 타임스탬프와 함께 생성되어 세트가 라이브로 공개되기 약 36시간 전에 게시되었으며, 이는 카드가 실제로 어떻게 작동하는지에 대한 지식 없이 예측이 이루어졌음을 보장합니다. 연구자는 이후 컴퓨터가 생성한 순위를 카드 커뮤니티에서 잘 알려진 6명의 독립적인 인간 전문가들의 사전 출시 리뷰와 비교했습니다. 결과는 컴퓨터의 순위가 인간 전문가들이 서로의 의견에 동의하는 정도만큼 인간 전문가들과 일치함을 보여주었습니다. 컴퓨터가 인간을 능가하지는 못했지만, 단 한 번의 게임도 플레이하거나 단 하나의 드래프트 로그도 보지 않고도 인간의 합의 수준에 도달했습니다.

이 연구는 컴퓨터가 완전히 새로운 콘텐츠에 대해 정보가 담긴 예측을 할 수 있을 만큼 복잡한 게임의 기저에 깔린 논리를 학습할 수 있음을 입증합니다. 이는 과거의 경험으로부터 미래의 미지(unknowns)로 일반화하는 능력이 카드 드래프트처럼 복잡한 영역에서도 가능하다는 것을 증명합니다. 시스템이 완벽한 것은 아닙니다. 예측에 있어 일률적으로 과도하게 자신만만하며, 선택이 어려울 때 인간 전문가의 미묘한 차이를 따라잡는 데 여전히 어려움을 겪습니다. 그러나 이 시스템은 '데이 제로'에 무엇이 가능한지에 대한 새로운 기준을 세웠습니다. 카드를 암기된 이름이 아닌 특징들의 집합으로 취급함으로써, 모델은 역사를 배우는 것과 미지의 영역을 항해하는 것 사이의 간극을 메웁니다. 연구자는 새로운 세트의 실제 드래프트 데이터가 확보되는 대로 후속 연구를 발표하겠다고 약속했으며, 이는 모델의 예측이 실제 카드가 어떻게 플레이되는지에 대한 현실과 부합하는지를 밝혀낼 것입니다. 그때까지, 이 연구는 기계가 규칙이 처음 작성되는 순간에도 예측의 게임을 학습할 수 있다는 것을 보여주는 증거로 남을 것입니다.

기술 요약: DraftFM – 매직 더 개더링(Magic: The Gathering)의 데이 제로(Day-Zero) 드래프팅을 위한 파운데이션 모델

문제 정의
매직 더 더 개더링(MTG)의 드래프팅은 플레이어가 팩에서 카드를 선택하여 덱을 구축하는 불완전한 정보 기반의 순차적 게임이다. 데이터 기반 어시스턴트에게 있어 핵심적인 과제는 "데이 제로(day-zero)" 환경이다. 새로운 확장판이 출시될 때, 전체 카드 목록은 공개되지만 아직 드래프트 로그는 존재하지 않는다. 기존의 지도 학습 기반 픽 모델은 해당 세트를 위해 특정 드래프트 데이터를 활용하므로, 지원을 제공하기까지 2주의 지연 시간이 발생한다. 또한, 카드를 고정된 어휘 인덱스로 인코딩하거나 출시 후 사용 통계에 의존하는 모델은 진정으로 보지 못한 카드나 세트를 평가할 수 없다. 대규모 언어 모델(LLM)은 카드의 텍스트를 읽을 수는 있지만, 대규모 미세 조정 없이는 소규모 지도 학습 모델보다 성능이 뛰어나기 어렵고, 출시 후 전략 논의와 관련된 데이터 누수 문제가 발생할 수 있다.

방법론
본 논문은 타겟 세트의 픽이나 사용 통계 없이 데이 제로 환경에서 작동하도록 설계된 파운데이션 모델인 DraftFM을 소개한다.

데이터 소스: 모델은 29개 확장판에서 추출한 1억 4,900만 건의 인간 드래프트 픽(17Lands 경유)과 Scryfall의 카드 메타데이터를 통해 학습된다. 세 개의 확장판(The Brothers' War, Magic: Foundations, Marvel Super Heroes)은 제로샷(zero-shot) 평가를 위해 완전히 제외되었다.
카드 표현: DraftFM은 공개된 카드 기록만을 사용하여 생성된 고정된 775차원 벡터로 카드를 취급한다.
- 391개의 구조화된 특징: Scryfall 기록에서 파싱됨 (마나 비용, 색상, 희귀도, 타입, 파워/방어력, 키워드, 서브타입).
- 384개의 텍스트 임베딩: 고정된 BAAI/bge-small-en-v1.5 문장 인코더로 생성된 타입 라인 및 규칙 텍스트의 $L_2$ 정규화 임베딩.
- 제외 사항: 모델에는 카드 정체성 파라미터, 세트 정체성 파라미터, 또는 출시 후 사용 통계가 포함되지 않는다. 보지 못한 카드는 익숙한 카드와 동일한 메커니즘을 사용하여 점수가 매겨진다.
신경망 아키텍처: DraftFM은 현재의 팩, 드래프트된 풀(pool), 그리고 드래프터의 상태를 조건으로 하는 이산 선택 정책(available cards에 대한 softmax)이다.
- 카드 인코더: 공유 MLP가 각 카드의 775개 특징을 $d$ -차원 임베딩으로 매핑한다.
- 풀 인코더: 축적된 드래프트 카드 풀(최대 46개의 고유 카드)을 하나의 벡터로 요약하는 어텐션 기반 메커니즘.
- 컨텍스트 인코더: 드래프트 위치, 포맷, 플레이어 숙련도/경험 버킷을 임베딩한다.
- 스코어러(Scorer): 후보 카드 임베딩, 풀 요약, 이들의 요소별 상호작용, 그리고 컨텍스트를 결합하여 점수를 생성하는 네트워크. 가용한 팩에 대한 softmax를 통해 선택 확률을 산출한다.
학습: 모델은 예측 분포와 관찰된 인간의 픽 사이의 교차 엔트로피를 최소화한다. 다양한 모델 너비( $d \in \{128, 256, 512\}$ )에 대해 고정된 최적화 레시피(AdamW, 레이블 스무딩)를 사용한다.

주요 기여

데이 제로 파운데이션 모델: DraftFM은 특징 기반 입력만을 사용하여(카드 정체성이나 사용 통계 없이) 여러 확장판에 걸쳐 학습되어, 완전히 새로운 확장판에 대해 의미 있는 제로샷 일반화를 달const 달성한 최초의 정책 모델이다.
봉인된 전망치 예측(Sealed Prospective Forecast): 저자는 미출시 세트인 The Hobbit(HOB)에 대한 완전한 P1P1(Pack 1, Pick 1) 카드 순위를 생성하였다. 이 예측치는 입력값, 모델, 출력값의 해시를 포함한 암호학적 증거와 함께 봉인되었으며, MTG Arena에서 플레이 가능해지기 약 36시간 전에 공개되어 데이터 누수를 방지하였다.
인간 전문가와의 벤치마킹: 본 논문은 모델의 출시 전 순위와 6명의 독립적인 콘텐츠 크리에이터를 비교한다. 이는 전문가들 사이에서도 상당한 불일치가 존재함을 주목하며, 포맷이 플레이되기 전 전문가들 간의 합의 수준에 대한 기준점을 설정한다.

결과

제로샷 성능: 세 개의 홀드아웃 확장판(The Brothers' War, Magic: Foundations, Marvel Super Heroes)에 대해, 선택된 160만 파라미터 모델( $d=256$ )은 각각 50.8%, 60.4%, **56.7%**의 Top-1 일치율을 달성했다. 이 결과는 균등 확률(첫 픽에서 약 ~7%) 및 이전 연구의 특징 기반 베이스라인을 유의미하게 상회한다.
위치적 구조: 모델은 알려진 행동 패턴을 재현한다: 가공되지 않은 일치도는 팩의 시작 부분에서 가장 높고, 중간에 낮아졌다가, 끝부분에서 다시 높아진다. 줄어드는 팩 크기에 맞춰 정규화했을 때(확률 정규화된 일치도), 곡선은 첫 4~5번의 픽에서 하락하고, 5번 또는 6번 픽에서 반등한 후 상승한다.
전문가와의 비교: 6명의 사전 리뷰어와 비교했을 때, DraftFM의 일치도(정확한 일치, 한 단계 내 일치, 순위 상관관계로 측정)는 일반적으로 인간 리뷰어들 사이에서 관찰되는 합의 범위 내에 있었다. 모델이 최고의 인간-인간 합의를 능가하지는 못했지만, 전문가 커뮤니티의 합의 수준보다 현저히 떨어지지도 않았다.
효율성: 선택된 모델( $d=256$ )은 가장 큰 변체( $d=512$ )와 비교하여 유사한 정확도를 유지하면서도 파라미터는 44%, 학습 시간은 43%만 사용하여 최적의 성능-비용 트레이드오프를 제공했다.

의의 및 주장
본 논문은 단일한 특징 기반 정책이 카드 정체성을 암기하거나 출시 후 데이터에 의존하지 않고도 완전히 새로운 환경에서 인간의 드래프트 선택을 예측할 수 있음을 보여준다. 이는 "데이 제로" 문제를 격리하여, 공용 카드 설명을 통해서도 세트 간 전이 학습이 가능하다는 것을 입증한다.

저자는 예측의 정확도에 대해 겸손한 태도를 취한다. 저자는 모델이 인간 전문가보다 더 정확하다거나 승률을 극대화한다고 주장하지 않음을 명시적으로 밝힌다. 실현된 결과에 대한 평가는 17Lands 데이터가 가용해지는 대로 후속 노트를 통해 진행할 예정이다. 본 연구의 주요 의의는 봉인된 예측의 절차적 엄밀성과, 전통적인 지도 학습 모델이 존재할 수 없는 환경에서 파운데이션 모델이 효과적으로 작동할 수 있음을 보여준 데 있다. 이 작업은 "데이 제로"가 진화하는 환경 속에서 모델이 마주할 영구적인 조건임을 확립하며, DraftFM은 이를 해결하기 위한 실행 가능한 아키텍처를 제공한다.

기술 요약: DraftFM – 매직 더 개더링(Magic: The Gathering)의 데이 제로(Day-Zero) 드래프팅을 위한 파운데이션 모델

유사한 논문