Foundational values for foundation models

위대한 AI 주방: 왜 우리는 마스터 셰프와 직접 요리 사이에서 고민하는가

당신이 엑스레이를 보고 환자의 뼈가 부러졌는지 알려줄 수 있는 로봇을 만들려고 한다고 상상해 보십시오. 의료 과학의 세계에서 이것은 매우 중요한 게임이며, 로봇의 '두뇌'(알고리즘)는 매우 똑똑해야 할 뿐만 아니라 안전하고 이해 가능해야 합니다. 오랫동안 과학자들은 기초부터 해부학적 규칙과 물리학의 모든 법칙을 가르치며 이 두뇌를 밑바닥부터 직접 만들어 왔습니다. 하지만 최근 한 가지 새로운 트렌드가 폭발적으로 등장했습니다: 바로 "파운데이션 모델(Foundation Models)"입니다. 이것들을 인류의 지식이라는 거대한 도서관 전체를 이미 읽은, 미리 학습된 거대한 '슈퍼 두뇌'라고 생각하십시오. 이들은 세상의 모든 요리를 이미 만들어 본 마스터 셰프와 같습니다. 당신은 그저 특정 수프를 만들어 달라고 요청하기만 하면 되고, 그들은 처음부터 재료를 준비하는 대신 자신들의 레시피를 약간 수정하여 요리할 뿐입니다.

하지만 여기에 까다로운 문제가 있습니다: 마스터 셰프가 당신의 수프를 만들 수 있다고 해서, 그것이 반드시 당신의 특정 저녁 식사에 최선의 선택이라는 뜻은 아닙니다. 어쩌면 당신은 우물이 말라버려서 물을 아주 적게 사용하는 요리가 필요할 수도 있고, 혹은 셰프가 왜 소금을 넣었는지 정확히 알아야 그 맛을 신뢰할 수 있을 수도 있습니다. 여기서 질문은 깊어집니다. 과학자들은 이제 이 거대하고 미리 만들어진 두뇌를 사용할 것인지, 아니면 자신만의 더 작고 맞춤화된 두뇌를 만들 것인지를 두고 논쟁하고 있습니다. 이것은 단순히 무엇이 더 빠르거나 똑똑한지의 문제가 아닙니다. 그것은 어떤 가치가 가장 중요한가에 대한 문제입니다. 우리는 에너지를 아끼는 것을 더 중요하게 생각합니까? 의사에게 우리의 결정을 설명할 수 있는 능력을 더 중요하게 생각합니까? 아니면 가난한 나라의 과학자들이 이 게임에 참여할 수 있도록 하는 것을 더 중요하게 생각합니까? 이 논문은 이러한 기술적 선택을 이끄는 숨겨진 가치들을 그려내며 바로 그 논쟁을 파고듭니다.

---

가치의 지도: 우리가 AI 도구를 선택하는 이유

이 논문의 저자인 존 박스터(John Baxter)와 엘로디 제르마니(Elodie Germani)는 과학계와 함께 "왜?"라는 게임을 하기로 했습니다. 그들은 물었습니다: "왜 연구자들은 이 거대한 파운데이션 모델을 사용하기로 선택하며, 왜 다른 이들은 자신만의 모델을 처음부터 학습시키기로 선택하는가?" 이에 답하기 위해 그들은 "소크라테스적 접근법"이라는 방법을 사용했습니다. 탐정이 용의자에게 "왜 그랬습니까?"라고 묻고, 다시 "그 이유가 왜 중요했습니까?"라고 반복해서 물으며 핵심적인 신념에 도달할 때까지 파고드는 장면을 상상해 보십시오. 그들은 이 방법을 통해 서로 다른 가치들이 기술적 결정과 어떻게 연결되는지 보여주는 거대한 지도(그래프)를 구축했습니다.

그들의 조사 결과, 이 선택은 단순한 "좋음 대 나쁨"의 스위치가 아니었습니다. 대신, 이는 스펙트럼의 양 끝단 사이의 줄다리기였습니다. 한쪽에는 (마스터 셰프를 고용하는 것처럼) 최소한의 변경만 가한 파운데이션 모델을 사용하는 것이 있습니다. 다른 한쪽에는 (직접 요리하는 것처럼) 처음부터 모델을 학습시키거나 대폭적인 변화를 주는 것이 있습니다.

마스터 셰프를 지지하는 이유 (파운데이션 모델)

많은 연구자가 몇 가지 매우 실질적인 이유로 이 사전 학습된 거인들을 사용하는 쪽으로 기울어 있습니다.

첫째, **데이터 효율성(Data Efficiency)**이 있습니다. 당신이 희귀 질병을 진단하는 법을 배우려 하는데, 환자 기록이 단 5개뿐이라고 상상해 보십시오. 처음부터 학습된 모델은 혼란에 빠져 실패할 것입니다. 하지만 파운데이션 모델은 이미 수백만 개의 이미지와 패턴을 보았습니다. 이는 세상의 모든 향신료 맛을 본 셰프를 둔 것과 같습니다. 그들은 아주 적은 도움만으로도 당신의 새로운 요리 맛을 짐-작할 수 있습니다. 이는 방대한 양의 데이터에 접근할 수 없는 연구자들에게 큰 이점입니다.

둘째, **모델 재사용(Model Reuse)**이 있습니다. 왜 바퀴를 다시 발명하겠습니까? 만약 의료 영상을 이해하는 데 뛰어난 모델이 이미 존재한다면, 당신은 그것을 그냥 사용하면 됩니다. 이는 시간과 노력을 절약하여 **연구 속도와 편의성(Research Speed and Facility)**으로 이어집니다. 의료 연구는 어렵습니다. 엄격한 규칙, 윤리적 승인, 복잡한 데이터 수집이 필요합니다. 미리 만들어진 도구를 사용하면 과학자들은 엔진을 만드는 무거운 작업은 건너뛰고 자동차를 운전하는 데 집중할 수 있습니다.

셋째, **모델 인지도(Model Recognition)**입니다. 만약 당신이 모두가 알고 있는 유명한 모델을 사용한다면, 당신의 연구는 더 자주 인용될 것입니다. 이는 잘 알려진 브랜드 이름을 사용하는 것과 같습니다. 사람들은 그것을 신뢰하며, 당신의 연구를 다른 이들에게 설명하기도 더 쉽습니다.

직접 요리하기를 지지하는 이유 (자신만의 모델 학습)

그러나 이 논문은 많은 과학자가 이러한 거인들에 반대하는 이유와 그 정당한 근거를 찾아냈습니다.

가장 큰 문제는 **설명 가능성(Explainability)**입니다. 만약 마스터 셰프가 수프를 만들고 "맛있습니다"라고 말했지만, 당신이 그가 왜 특정 허브를 넣었는지 물을 수 없다면, 당신은 그 맛을 신뢰하지 못할 수도 있습니다. 의학에서 신뢰는 전부입니다. 의사들은 AI가 왜 환자가 아프다고 판단했는지 그 이유를 알아야 합니다. 파운데이션 모델은 너무 거대하고 복잡해서 심지어 제작자들조차 그들이 어떻게 결정을 내리는지 정확히 설명하지 못할 때가 많습니다. 만약 당신이 직접 모델을 만든다면, 투명하게 설계할 수 있으며, 이를 통해 **임상적 신뢰(Clinical Trust)**를 얻고 규제(Regulation) 규칙을 충족하기가 더 쉬워집니다.

다음은 속도와 메모리(Speed and Memory) 문제입니다. 파운데이션 모델은 거대하고 무거운 트럭과 같습니다. 강력하지만, 많은 연료(에너지)를 소비하고 거대한 차고(컴퓨터 메모리)가 필요합니다. 만약 작은 소포 하나만 배달하면 된다면, 작고 효율적인 자동차(맞춤형 모델)가 더 낫습니다. 논문은 파운데이션 모델이 종종 "죽은 무게(dead weight)", 즉 당신의 특정 과업에는 사용되지 않지만 여전히 공간을 차지하는 뇌의 일부를 가지고 있다고 지적합니다. 만약 당신이 환경 보호(Environmentalism)(에너지와 물 절약)를 중시하거나 컴퓨터 성능이 제한적이라면, 더 작고 맞춤화된 모델을 학습시키는 것이 종종 더 나은 선택이 됩니다.

또한 **연구 주권(Research Sovereignty)**이라는 가치도 있습니다. 이것은 공정성에 관한 것입니다. 만약 소수의 부유한 국가나 대기업만이 거대한 마스터 셰프들을 소유한다면, 가난한 나라의 과학자들은 그 특정 도구들을 사용할 수 있도록 허용되지 않는 한 진정으로 참여할 수 없습니다. 논문은 파운데이션 모델이 강력한 도구에 대한 접근성을 제공함으로써 기회의 평등을 도울 수도 있지만, 모든 이가 단일 제공자에게 의존하게 되는 "인프라 락인(infrastructure lock-in)"의 위험이 있다고 제안합니다. 자신만의 모델을 만드는 것은 더 많은 독립성을 허용합니다.

까다로운 중간 지대: 공정성과 참신함

논문은 어떤 가치들은 모호하며 깔끔하게 한쪽 편에 속하지 않는다는 점을 강조합니다.

**공정성(Fairness)**을 예로 들어보겠습니다. 당신은 수백만 명의 데이터를 학습한 거대 모델이 더 다양성을 확보했기에 더 공정할 것이라고 생각할 수 있습니다. 하지만 저자들은 이러한 모델 대부분이 실제로는 단일 센터의 단일 데이터셋을 기반으로 학습되었으며, 여전히 편향될 수 있다고 지적합니다. 따라서 거대 모델을 사용하는 것이 자동으로 불공정함을 해결하는 것은 아니며, 오히려 그것을 숨길 수도 있습니다. 논문은 공정성을 보장하기 위해서는 모델에 대한 더 많은 통제권이 필요할 수 있으며, 이는 직접 모델을 만드는 쪽으로 기운다고 제 제안합니다.

또한 **모델 참신성(Model Novelty)**이 있습니다. 과학에서 사람들은 새로운 것을 발견하는 것을 좋아합니다. 이미 만들어진 모델을 사용하는 것은 다른 사람의 발명품을 사용하는 것처럼 느껴집니다. 만약 당신이 새로운 발견으로 유명해지고 싶다면, 처음부터 새로운 구조를 만들고 싶을 것입니다. 그러나 논문은 "참신함"이 종종 사물을 더 복잡하게 만드는 것을 의미하며, 이는 단순하고 에너지 효율적인 모델을 원하는 욕구와 충돌한다고 언급합니다.

최종 결론: 당신이 무엇을 가치 있게 여기느냐에 달려 있다

논문은 단 하나의 "최선"의 답은 없다고 결론짓습니다. 선택은 전적으로 연구자가 무엇을 가장 가치 있게 여기느냐에 달려 있습니다.

• 만약 당신이 속도, 데이터 효율성, 그리고 사용의 용이성을 중시한다면, 당신은 아마도 파운데이션 모델을 선택할 것입니다.
• 만약 당신이 설명 가능성, 환경적 영향, 그리고 완전한 통제권을 중시한다면, 당신은 아마도 자신만의 모델을 학습시킬 것입니다.

저자들은 과학계가 이러한 트레이드오프(상충 관계)에 대해 솔직해져야 한다고 제안합니다. 우리는 단순히 "AI는 좋다"라거나 "파운데이션 모델이 미래다"라고 말할 수 없습니다. 우리는 다음과 같이 물어야 합니다: "무엇을 위한 좋은 것인가? 그리고 그 대가는 무엇인가?" 이러한 근저에 깔린 가치들을 이해함으로써, 과학자들은 단순히 기술적으로 무엇이 작동하는지가 아니라, 사회와 환경, 그리고 미래의 의학에 무엇이 적합한지에 대한 더 나은 결정을 내릴 수 있습니다. 이 논문은 문제를 해결했다고 주장하는 것이 아니라, 이 논쟁을 헤쳐 나갈 수 있도록 돕는 명확한 지도를 제공하고 있습니다.