💻 computer science

HugSelect: An Explainable Multi-Criteria Decision-Support Framework for foundation-model selection

이 논문은 단순한 인기 지표보다 기능적 역량과 커뮤니티가 인지하는 품질을 우선시함으로써 감사 가능하고 투명하며 고품질의 권장 사항을 제공하기 위해 71,000개 이상의 파운데이션 모델에 대한 포괄적인 지식 베이스를 구축하는 설명 가능한 다기준 의사결정 지원 프레임워크인 HugSelect를 소개한다.

원저자: Alireza Joonbakhsh (Shiraz University), Arda Canser Adalı (Utrecht University), Slinger Jansen (Utrecht University), Farshad Khunjush (Shiraz University), Siamak Farshidi (Wageningen University,Resear

게시일 2026-08-11

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Alireza Joonbakhsh (Shiraz University), Arda Canser Adalı (Utrecht University), Slinger Jansen (Utrecht University), Farshad Khunjush (Shiraz University), Siamak Farshidi (Wageningen University,Research)

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한, 혼란스러운 도서관으로 걸어 들어간다고 상상해 보세요. 선반들은 구름 위까지 뻗어 있고 안개 속으로 사라집니다. 이곳은 책의 도서관이 아니라 "파운데이션 모델(foundation models)"의 도서관입니다. 챗봇부터 의료 진단 도구에 이르기까지 모든 것에 동력을 공급하는 거대하고 재사용 가능한 브레인 회로들이죠. 소프트웨어 공학의 세계에서 이 모델들은 자동차의 엔진과 같습니다. 단순히 멋져 보이거나 가장 인기 있는 브랜드라고 해서 그냥 고를 수는 없습니다. 당신의 특정 섀시에 맞는지, 당신이 가진 연료로 달릴 수 있는지, 그리고 요철을 만났을 때 고장 나지 않을지 알아야 합니다.

문제는 이 도서관이 인간이 모든 라벨을 다 읽을 수 없을 정도로 빠르게 성장하고 있다는 점입니다. 보통 사람들은 가장 다운로드 수가 많은 아이템을 집어 들거나, 아주 똑똑한 로봇(AI)에게 조언을 구합니다. 하지만 로봇에게 묻는 것은 마법사에게 레시피를 묻는 것과 같습니다. 그들은 맛있는 답을 줄 수는 있지만, 어떻게 그 답을 만들어냈는지는 알 수 없으며, 때로는 그냥 지어낸 이야기를 할 수도 있습니다. 이 논문은 연구팀이 작성하였으며, 단순하지만 까다로운 질문을 던집니다. 도서관이 너무 커서 다 읽을 수 없고 마법사들은 너무 신비로울 때, 우리는 어떻게 우리 차에 맞는 적절한 엔진을 고를 수 있을까요? 그들은 단순히 추측하는 것이 아니라, 왜 그것을 선택했는지 실제로 설명할 수 있는 새로운 방식을 제안하며, 마법 같은 추측을 명확하고 감사 가능한 체크리스트로 바꿉니다.

문제점: "인기 투표"의 함정

현재 허깅페이스(Hugging Face)와 같은 플랫폼에서 파운데이션 모델을 찾으려면, 마치 새 휴대폰을 살 때 얼마나 많은 사람이 샀는지만 보고 쇼핑하는 것과 비슷합니다. 여러분은 "다운로드"나 "좋아요" 순으로 정렬된 목록을 보게 됩니다. 하지만 인기가 성능을 보장하지는 않습니다. 어떤 모델이 유명하다고 해서 고대 언어를 번역하거나 아주 작은 노트북에서 실행되는 것과 같은 특정한 작업을 수행할 수 있다는 뜻은 아닙니다.

저자들은 모델을 선택하는 것이 단순한 키워드 검색이나 인기 투표가 되어서는 안 된다고 주장합니다. 그것은 복잡한 소프트웨어 공학적 결정입니다. 여러분은 기능적 요구 사항(코드를 작성할 수 있는가?), 운영 제약 조건(내 메모리에 들어가는가?), 품질 문제(신뢰할 수 있는가?) 사이에서 균형을 잡아야 합니다. 인기에만 의존하거나 "블랙박스" AI에게 조언을 구하는 것은 왜 그 모델이 선택되었는지에 대해 무지한 상태로 남겨둡니다.

해결책: 설명 가능한 사서, HugSelect

HugSelect를 만나보세요. HugSelect를 '마술 8번 구슬'이 아니라, 도서관의 모든 책을 다 읽고 모든 페이지에 대해 상세한 노트를 작성한 초정밀, 초논리적인 사서라고 생각해보세요.

HugSelect가 어떻게 작동하는지 재미있는 비유를 통해 설명하겠습니다:

당신이 특정한 종류의 자동차를 찾고 있다고 상상해 보세요. 당신은 사서에게 이렇게 말합니다. "눈길에서도 달릴 수 있고, 선루프가 있으며, 가격은 2만 달러 미만인 차가 필요해요."

기존 방식 (인기): 사서는 전시장에서 가장 인기 있는 차를 가리킵니다. 비록 그 차가 히터도 없는 컨버터블일지라도 말이죠.
기존 방식 (마법 AI): 사서는 "제 생각에 이 차는 정말 좋아요!"라고 말하지만, 왜 그런지 혹은 엔진 사양이 무엇인지는 말해주지 못합니다.
HugSelect 방식: 사서는 거대한 스프레드시트를 꺼냅니다. 그들은 모든 자동차에 대해 "눈길 주행", "선루프", "가격" 열을 확인합니다. 그리고 각 자동차가 당신의 요구 사항에 얼마나 잘 부합하는지에 따라 점수를 매깁니다. 그런 다음 다음과 같은 보고서를 당신에게 건넵니다. "자동차 A는 선루프가 있고 저렴하기 때문에 90점을 받았지만, 눈길 주행에는 적합하지 않아 점수가 깎였습니다. 자동차 B는 눈길 주행에는 완벽하지만 가격이 비싸기 때문에 85점을 받았습니다."

HugSelect는 AI 모델에 대해 정확히 이 작업을 수행합니다. 이들은 71,274개의 모델로 구성된 거대한 "지식 베이스"를 구축합니다. 단순히 제목만 보는 것이 아니라, 모델의 설명을 읽고, 코드를 확인하며, 심지어 수천 개의 커뮤니티 토론(Reddit 스레드나 Q&A 사이트 등)을 스캔하여 실제 사람들이 해당 모델의 신뢰성과 속도에 대해 어떻게 생각하는지까지 파악합니다.

작동 원리: 세 가지 재료

모든 모델에 대한 "성적표"를 만들기 위해, HugSelect는 세 가지 유형의 재료를 혼합합니다:

메타데이터: 라이선스 유형(무료로 사용할 수 있는가?)이나 파일 크기와 같은 확정적인 사실들입니다.
기능적 특징: 모델이 실제로 할 수 있는 일입니다. 설명에 이미지를 처리할 수 있다고 되어 있는가? 수학 문제를 추론할 수 있는가? HugSelect는 이러한 능력을 찾기 위해 텍스트를 읽습니다.
인지된 품질: 이것은 "가십" 칼럼입니다. 커뮤니티가 무엇을 말하는지 분석합니다. 만약 사람들이 모델이 자주 충돌한다고 계속 불평한다면, HugSelect는 이를 "신뢰성" 항목에서 감점합니다. 만약 사람들이 매우 빠르다고 말한다면, "성능" 점수를 높여줍니다.

이 모든 데이터를 모은 후, HugSelect는 **가중치 합 모델(Weighted Sum Model, WSM)**이라는 수학적 방법을 사용합니다. 학생의 성적을 매긴다고 상상해 보세요. 만약 "수학"이 성적의 50%이고 "미술"이 10%라면, HugSelect는 당신이 가장 중요하게 생각하는 것에 따라 가중치를 더합니다. 만약 당신이 "속도는 상관없으니 신뢰성이 가장 중요해요"라고 말한다면, HugSelect는 즉시 가중치를 조정하고 목록을 다시 순위 매깁니다.

발견한 내용: 결과

연구진은 HugSelect가 실제로 작동하는지 확인하기 위해 테스트를 진행했습니다. 단순히 추측한 것이 아니라, 여러 테스트 과정을 거쳤습니다.

독해 테스트: HugSelect가 모델 설명과 커뮤니티 리뷰를 정확하게 읽을 수 있는지 확인했습니다. 기능에 대해서는 약 80%, 품질 속성에 대해서는 약 **84%**의 정확도를 보였습니다. 엉망인 인간의 텍rd를 읽는 로봇치고는 꽤 훌륭한 수치입니다!
대결: HugSelect를 네 가지 유명한 상용 AI 시스템(ChatGPT, Claude, Gemini 등)과 비교했습니다. 그들에게 "의료 Q&A 봇을 위한 모델을 찾아라"와 같은 44가지의 서로 다른 시나리오를 주었습니다.
- HugSelect는 **91%**의 확률로 올바른 모델 *군(family)*을 찾아냈습니다.
- 정확한 모델을 찾아낸 확률은 **61%**였습니다.
  이는 대형 상용 AI들과 경쟁할 만한 수준이었습니다(어떤 것은 정확한 모델을 찾는 데 약간 더 나았고, 어떤 것은 약간 더 못했습니다). 하지만 HugSelect에는 한 가지 거대한 장점이 있었습니다. 바로 투명성입니다. 상용 AI들은 그저 답만 내놓았습니다. 반면 HugSelect는 답과 함께 그 뒤에 숨겨진 수학적 근거를 보여주며, 어떤 특징들이 모델의 점수를 높이거나 낮추었는지 정확히 보여주었습니다.

"왜 중요한가"에 대한 이유

HugSelect가 하는 가장 중요한 일은 결정을 **감사 가능(auditable)**하게 만드는 것입니다. 소프트웨어 공학에서 "AI가 이걸 쓰라고 했어요"라고 말하는 것만으로는 부족합니다. 당신의 상사, 고객, 또는 안전 검사관에게 설명할 수 있도록 왜 그런 결정을 내렸는지 알아야 합니다.

연구진은 또한 AI에 대해 잘 아는 10명을 대상으로 "사용자 연구"를 실시했습니다. 이들은 HugSelect가 유용하고 사용하기 쉽다는 것을 발견했습니다. 그들은 트레이드오프(trade-offs)를 볼 수 있다는 점을 좋아했습니다. 예를 들어, 모델 A는 더 빠르지만 신뢰성이 낮고, 모델 B는 더 느리지만 매우 견고하다는 것을 확인할 수 있었습니다. 이는 인간이 블랙박스를 맹목적으로 믿기보다 더 나은 결정을 내릴 수 있도록 돕습니다.

결론

이 논문은 우리가 AI 모델 선택을 운이나 인기 투표처럼 취급하는 것을 멈춰야 한다고 제안합니다. 세부 사항을 읽고, 커뮤니티의 목소리를 듣고, 그 수학적 근거를 설명하는 시스템을 구축함으로써, HugSelect는 적절한 도구를 확신을 가지고 선택할 수 있는 방법을 제시합니다. 이 시스템이 완벽하다고 주장하는 것은 아닙니다. 연구진은 때때로 커뮤니티 피드백이 엉망일 수 있고, "최고의" 모델이 무엇인지에 대한 "실제 정답(ground truth)"을 찾는 것이 까다로울 수 있음을 인정합니다. 하지만 적절한 데이터와 명확한 논리가 결합된다면, 혼란스러운 AI 모델의 도서관을 잘 정리되고 설명 가능한 도구함으로 바꿀 수 있다는 것을 입증했습니다.

요약하자면, HugSelect는 단순히 가장 인기 있는 책을 가리키는 사서가 아니라, 책을 펼쳐서 가장 좋은 부분을 강조하고, 왜 그것이 당신의 이야기에 딱 맞는 선택인지 정확히 알려주는 사서입니다.

기술 요약: HugSelect – 파운데이션 모델 선택을 위한 설명 가능한 다기준 의사결정 지원 프레임워크

1. 문제 정의

파운데이션 모델의 선택은 연구 활동을 넘어, 이 모델들이 AI 기반 시스템의 재사용 가능한 구성 요소로 기능함에 따라 중요한 소프트웨어 공학적 결정으로 진화했습니다. 그러나 현재의 선택 메커니ism은 다음과 같은 중대한 한계에 직면해 있습니다:

인기 및 메타데이터 필터: 다운로드 횟수나 태그에 의존하는 방식은 표면적인 표현만을 제공하며, 기능적 역량이나 운영상의 제약 사항을 포착하지 못합니다.
키워드 검색: 어휘적 매칭은 이질적인 정보원을 처리하는 데 어려움이 있으며, 유사한 설명을 가졌으나 서로 다른 기능적 역량을 가진 모델들을 구별하지 못합니다.
LLM 기반 추천 시스템: 복잡한 질의를 해석할 수 있는 능력은 갖추었으나, 대화형 LLM은 종종 "블랙박스"로 작동하여 투명하고 감사 가능한 추론 능력이 부족하며 환각 현상(hallucination)에 취속될 수 있습니다.

핵심 문제는 파운데이션 모델 선택을 기능적 요구사항, 비기능적 품질 특성, 운영 제약 사항을 포함하는 명시적이고 감사 가능한 소프트웨어 컴포넌트 선택 작업으로 다루는 설명 가능하며 저장소 규모의 의사결정 지원 시스템이 부재하다는 것입니다.

2. 방법론: HugSelect 프레임워크

HugSelect는 디자인 과학 연구(DSR)와 다기준 의사결정(MCDM)에 기반한 데이터 주도형 프레임워크입니다. 이 시스템은 이질적인 데이터 소스를 지식 베이스로 통합하고 투명한 랭킹 알고리즘을 적용하는 통합 파이프라인을 통해 모델 선택을 구체화합니다.

A. 데이터 통합 및 지식 베이스 구축
본 시스템은 세 가지 상호 보완적인 증거 소스를 합성하여 71,274개의 Hugging Face 모델에 대한 지식 베이스를 구축합니다:

저장소 메타데이터 ( $F_M$ ): 구조화된 속성 (태스크 태그, 라이선스, 파라미터 크기, 다운로드 횟수).
기능적 특징 ( $F_F$ ): NLP 기술(명사구 필터링, 의존 구문 분석)을 사용하여 비구조화된 모델 카드 및 README 파일에서 추출한 역량. 이는 모달리티(modality), 태스크, 모델 패밀리로 분류됩니다.
인지된 품질 속성 ( $F_Q$ ): 커뮤니티 토론(Hugging Face, Reddit, Stack Overflow)에서 도출된 비기능적 신호. 이는 감성 분석 및 LLM 기반 분류를 통해 ISO/IEC 25010 품질 특성(예: 신뢰성, 성능 효율성)에 매핑됩니다.

B. 의사결정 엔진 및 설명 가능성

의도 추출: 사용자의 자연어 질의를 처리하여 구조화된 기준과 가중치를 추출합니다. 시스템은 MoSCoW 우선순위 지정 방식(Must-have, Should-have, Could-have, Won't-have)을 채택하여 기준에 대한 중요도 가중치를 할당합니다.
랭킹 알고리즘: 프레임워크는 **가중치 합 모델(WSM/SAW)**을 활용합니다. 후보 모델 $m_i$ 와 질의 $q$ 에 대하여, 점수는 다음과 같이 계산됩니다:
$R(m_i, q) = \sum_{j=1}^{k} w_j \cdot s_{ij}$
여기서 $w_j$ 는 기준 가중치이며, $s_{ij}$ 는 정규화된 점수입니다.
설명 가능성: 블랙박스 추천기와 달리, HugSelect는 최종 점수를 기준별 기여도( $w_j \cdot s_{ij}$ )로 분해하고, 점수를 근거 소스(예: 특정 리뷰 스니펫)에 연결하며, 지식 그래프를 통해 모델 변체 간의 트레이드오프를 시각화합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 주장합니다:

저장소 규모의 의사결정 지원: 단순한 검색이나 인기 순위 랭킹을 넘어, 파운데이션 모델 선택을 감사 가능한 소프트웨어 컴포넌트 결정으로 공식화했습니다.
통합 증거 합성 파이프라인: 메타데이터, 기능적 역량, 커뮤니티 유래 품질 신호를 71,000개 이상의 모델에 대한 통합 지식 베이스로 자동 수집하는 파이프라인을 구축했습니다.
설명 가능한 의사결정 엔진: 사용자 요구사항을 구조화된 기준으로 매핑하고, 추천 결과를 검사 가능한 기준별 점수 기여도로 분해하는 WSM/SAW 기반 엔진을 제공합니다.
포괄적인 실증적 평가: 파이프라인 검증, 상용 베이스라인과의 비교 사례 연구, 절제 실험(ablation analysis), 그리고 실무자 사용자 연구를 포함한 다각적인 평가를 수행했습니다.

4. 평가 결과

프레임워크는 세 가지 상호 보완적인 접근 방식을 통해 평가되었습니다:

파이프라인 검증 (RQ1):
- 기능적 특징 추출: 인간이 검증한 그라운드 트루스(ground truth)에 대해 0.801의 F1-score와 0.668의 IoU를 달성했습니다.
- 품질 속성 매핑: 리뷰 스니펫을 ISO/IEC 25010 품질 속성에 매핑하는 데 있어 0.84의 정확도를 달성했습니다.
- 결과: 자동화된 추출은 대규모 환경에서 효과적이지만, 이질적인 개발자 문서와 관련된 과제는 여전히 남아 있습니다.
비교 사례 연구 (RQ2):
- 4개의 상용 LLM 베이스라인(ChatGPT, Claude, Gemini, Perplexity)을 대상으로 44개의 문헌 기반 시나리오에 대해 평가했습니다.
- 모델 레벨 Coverage@10: HugSelect는 0.61을 기록하여 Gemini(0.39)와 Perplexity(0.52)를 능가했으며, Claude(0.64)와 대등한 성능을 보였습니다.
- 패밀리 레벨 Coverage@10: HugSelect는 0.91을 달성하였으며, 이는 정확한 모델 ID가 다르더라도 관련 모델 패밀리를 식별하는 강력한 능력을 나타냅니다.
- 통계적 유의성: HugSelect는 Gemini 대비 유의미하게 높은 성능을 보였으나( $p < 0.05$ ), 전체적인 랭킹 품질 측면에서는 ChatGPT 또는 Claude와 통계적으로 유의미한 차이를 보이지 않았습니다.
- 질적 결과: 인기 편향(popularity bias)을 보이는 LLM 베이스라인들과 달리, HugSelect는 구조화되고 추적 가능한 추론을 제공했습니다.
절제 실험 (Ablation Study):
- 기능적 특징을 제거했을 때 모델 레벨 커버리지가 가장 크게 하락(0.61 $\to$ 0.23)하였으며, 이는 기능적 특징이 정확한 모델 검색의 주요 동인임을 확인시켜 줍니다.
- 품질 속성을 제거하면 패밀리 레벨 식별력이 감소(0.91 $\to$ 0.77)합니다.
- 메타데이터 전용 접근 방식은 가장 낮은 성능(0.09 모델 레벨 커버리지)을 보였습니다.
사용자 연구 (RQ3):
- 기술 수용 모델(TAM)에 기반한 10명의 참가자를 대상으로 탐색적 연구를 수행했습니다.
- 참가자들은 시스템의 인지된 유용성(평균 = 1.62)과 인지된 사용 용이성(평균 = 1.48)에 대해 높게 평가하여, 구조화되고 투명한 접근 방식이 직관적이고 가치 있음을 시사했습니다.

5. 의의 및 주장

본 논문은 HugSelect를 단순히 단일 "최적" 모델을 찾아내는 시스템이 아니라, 선택 근거를 명시적이고 감사 가능하게 만드는 도구로 정의합니다.

불투명성 대비 투명성: 주요 의의는 불투명한 대화형 조언에서 벗어나, 사용자가 왜 특정 모델이 추천되었는지, 그리고 어떤 트레이드오프(예: 성능 vs 라이선스)가 랭킹을 결정했는지 검사할 수 있는 추적 가능한 의사결정 과정으로 전환했다는 점에 있습니다.
소프트웨어 공학적 관점: 파운데이션 모델 선택을 기능적 역량과 함께 비기능적 요구사항(라이선스, 배포 제약 사항)을 통합하는 표준적인 소프트웨어 컴포넌트 선택 문제로 재정의했습니다.
실현 가능성: 결과는 저장소 마이닝과 MCDM을 성공적으로 결합하여 투명하고 대규모의 모델 선택을 지원할 수 있다는 예비적 증거를 제공하며, 순수하게 인기 기반이거나 블랙박스 형태인 AI 추천에 대한 실질적인 대안을 제시합니다.

저자들은 문헌에 보고된 선택지를 그라운드 트루스의 대리 지표로 사용한 점, 객관적 품질 지표가 아닌 인지된 품질 지표에 의존한 점, 그리고 사용자 연구의 탐색적 성격 등을 한계점으로 인정합니다. 결론적으로, HugSelect는 검색 품질 측면에서 상용 베이스라인과 경쟁할 수 있는 동시에, 소프트웨어 엔지니어를 위해 안정적이고 추적 가능하며 검사 가능한 추론을 제공한다는 점에서 독보적인 가치를 지닙니다.