Cheap Probes Predict Expensive Training in 3D-CT Vision--Language Models

당신이 궁극의 로봇 의사를 만들려고 노력 중이라고 상상해 보십시오. 이 기계는 인간의 흉부 3D 스캔을 보고 완벽한 의료 보고서를 작성할 수 있어야 합니다. 이를 위해 당신에게는 두 가지 주요 부품이 필요합니다: 스캔을 볼 수 있는 한 쌍의 '눈'(컴퓨터 비전 모델)과 이야기를 써 내려갈 '뇌'(대규모 언어 모델)입니다. 까다로운 점은 사용 가능한 '눈'의 종류가 수십 가지나 되며, 각각의 눈은 이미지를 조금씩 다른 방식으로 본다는 것입니다. 또한, 뇌가 압도당하지 않으면서도 이해할 수 있도록 이 눈들이 만들어내는 방대한 양의 데이터를 어떻게 줄일지도 결정해야 합니다.

과거에 최적의 조합을 찾아내는 것은 매장에 있는 모든 신발을 다 사서, 하나하나 다 신어보고, 각 신발을 신고 마라톤을 뛰며 가장 완벽한 신발을 찾는 것과 같았습니다. 그것은 느리고 비용이 많이 들었으며, 대부분의 연구팀이 감당할 수 없는 엄청난 양의 컴퓨터 연산 능력(그리고 돈)을 필요로 했습니다. 그들은 어떤 것이 가장 잘 작동하는지 확인하기 위해 단 하나의 옵션이라도 매번 로봇 의사 전체를 처음부터 다시 훈련시켜야 했습니다. 하지만 만약 지름길이 있다면 어떨까요? 만약 당신이 신발이 얼마나 편안할지 짐작하기 위해 발에 아주 작고 저렴한 센서를 붙일 수 있다면, 실제로 마라톤을 뛰지 않고도 알 수 있다면 어떨까요? 이것이 바로 이 논문이 던지는 질문입니다: 우리는 값비싼 컴퓨터 설정이 무엇이 가장 잘 작동할지 예측하기 위해 아주 작고 저렴한 테스트를 사용할 수 있을까요? 이를 통해 무거운 작업을 수행하기 전에 승자를 확실히 찾아내어 힘을 아낄 수 있을까요?

량런지에(Renjie Liang)가 이끄는 연구진은 "그렇습니다, 하지만 몇 가지 중요한 규칙이 있습니다"라고 말합니다. 그들은 '저렴한 프로브(probe)'가 '값비싼 훈련' 세션의 성공을 예측할 수 있는지 확인하기 위해 영리한 테스트 환경을 구축했습니다. 값비싼 훈련을 전체 케이크를 구워 레시피가 작동하는지 확인하는 전면적인 고위험 요리 경연 대회라고 생각해 보십시오. 저렴한 프로브는 반죽을 한 숟가락 맛보는 것과 같습니다. 보통 반짝 맛을 보는 것만으로는 케이크가 부풀어 오를지 보장할 수 없지만, 이 연구진은 이 특정 유형의 "3D CT" 케이크의 경우, 반죽의 맛이 최종 결과에 대한 강력한 예측 인자가 될 수 있는지 알고 싶었습니다.

이를 테스트하기 위해 그들은 다양한 조합의 거대한 격자를 만들었습니다. 그들은 3D CT 스캔을 보는 다양한 '눈'(인코더)을 가져와서 이를 다양한 데이터 축소 방식(압축 체계)과 결합했습니다. 각 조합에 대해 그들은 단순히 추측하지 않고 두 가지 경로를 실행했습니다. '값비싼 경로'는 전체 로봇 의사를 훈련시키는 과정으로, 단 하나의 설정에 대해서도 슈퍼컴퓨터 시간을 약 하루 종일 소요했습니다. '저렴한 경로'는 눈(encoder)으로부터 얻은 고정된 데이터에 아주 작고 단순한 판독 도구(프로в)를 부착하여, 심장의 크기나 질병의 존재와 같은 특정 의료적 세부 사항을 포착할 수 있는지 확인하는 과정이었습니다.

연구팀은 자신들의 '맛보기 숟가락'이 공정하도록 매우 주의를 기울였습니다. 그들은 15가지의 서로 다른 의료적 측정치(대동맥의 너비나 폐의 밀도 등)와 18가지의 서로 다른 질병 소견을 포함하는 특별한 벤치마크를 구축했습니다. 시작하기 전에, 그들은 모든 측정치를 두 가지 엄격한 '관문'에 통과시켰습니다. 첫 번째 관문인 '스케일 산티티(scale sanity, 척도 건전성)'는 측정치가 망가지지 않았는지 확인했습니다(예를 들어, 테스트가 실수로 아무 문제가 없는데도 99%의 사람들이 질병을 가지고 있다고 말하는 경우 등). 두 번째 관문인 '프로브 분리 가능성(probe-separability)'은 저렴한 프로브가 실제로 서로 다른 상태를 구별할 수 있을 만큼 똑똑한지 확인했습니다. 만약 측정치가 너무 모호하거나 프로브가 너무 약하다면, 그들은 그것을 버렸습니다. 이는 그들이 실제로 해결 가능한 것들만을 테스트하고 있음을 보장하기 위함이었습니다.

테스트 환경이 준비되자, 그들은 결과를 비교했습니다. 그들은 다음과 같이 물었습니다: 저렴한 프로브의 점수가 값비싼 전체 훈련의 점수와 일치하는가? 답은 놀라울 정도로 강력했습니다. 지금까지 테스트한 조합들에 대해, 저렴한 프로브는 값비싼 훈련과 매우 밀접하게 일치하는 순위를 매겼습니다. 그들은 약 0.95의 상관관계를 발견했는데, 이는 과학계에서 매우 높은 수치로, 저렴한 테스트가 값비싼 테스트의 매우 정확한 예측 도구였음을 의미합니다.

하지만 저자들은 이것이 무엇을 의미하는지에 대해 매우 정직합니다. 그들은 저렴한 프로브가 값비싼 훈련의 '정확한 최종 점수'를 준다고 주장하는 것이 아닙니다. 그것은 '서수적 주장(ordinal claim)'인데, 이는 멋진 표현으로, 순위를 매기는 데 탁월하다는 뜻입니다. 즉, 어떤 옵션이 1등이고, 2등이며, 10등인지는 알려줄 수 있지만, 1등이 2등보다 정확히 얼마나 더 나은지는 말해주지 못할 수도 있다는 것입니다. 실제로 논문은 전체적인 순위는 강력하지만, 특정 인코더 내에서 순위가 어긋나는 구체적인 사례들이 있다고 명시적으로 언급합니다. 또한 그들은 이것이 '예비적' 연구임을 인정합니다. 그들은 아직 이 방법이 모든 가능한 의료 작업에 작동한다는 것을 증라하지 못했지만, 그들이 확인한 작업들에 대해서는 신호가 고무적입니다.

논문은 또한 몇 가지 사항을 배제합니다. 그들은 데이터를 정규화(즉, 신호가 너무 작거나 크지 않도록 신호의 볼륨을 조절하는 것)하지 않으면 저렴한 프로브가 혼란을 느껴 잘못된 승자를 선택한다는 것을 발견했습니다. 또한 일부 매우 복잡하고 과하게 큰 프로브는 오히려 상황을 악화시키며, 마치 무작위한 수치를 내놓는 고장 난 온도계처럼 작동한다는 것을 보여주었습니다.

결론적으로, 이 논문은 연구를 수행하는 새로운 방식을 제안합니다. 모든 가능한 설정을 위해 매주 수천 달러를 들여 전체 로봇 의사를 훈련시키는 대신, 과학자들은 단 몇 분 만에 저렴한 프로브를 실행할 수 있습니다. 그들은 이를 사용하여 좋지 않은 옵션들을 걸러내고, 프로브가 최고라고 말하는 소수의 최종 후보들에게만 값비싼 시간과 돈을 쓸 수 있습니다. 그것은 마치 산 전체를 파헤치기 전에 금속 탐지기를 사용하여 금을 찾는 것과 같습니다. 저자들은 이것이 여전히 '주장을 위한 표식(stake-a-claim marker)'이며 더 많은 테스트가 필요하다고 주의 깊게 말하고 있지만, 초기 결과는 3D CT 스캔의 경우, 저렴한 반죽 맛보기가 정말로 어떤 레시피가 최고의 케이크를 만들지 알려준다는 것을 시사합니다.