Do Vision-Language Models See Dwarf Galaxies the Way We Do?

당신이 거대하고 북적이는 밤의 도시에서 매우 구체적이고, 작고, 희미한 유령을 찾으려는 탐정이라고 상상해 보십시오. 이 유령은 우리 은하를 공전하는 작은 별들의 집단인 '왜 소은하(dwarf galaxy)'입니다. 도시는 하늘이고, 그 속의 인파는 가로등, 빛의 반사, 카메라 글리치(오류), 그리고 유령처럼 보이지만 실제로는 유령이 아닌 무작위 노이즈 등 수백만 개의 다른 것들로 가득 차 있습니다.

이 논문은 새로운 종류의 '슈퍼 탐정'(Vision-Language Model이라는 이름의 AI)을 테스트하여, 이 AI가 인간 자원봉사자 팀만큼 잘 실재하는 유령들을 찾아낼 수 있는지 확인하는 것에 관한 것입니다.

연구진의 실험 내용과 그 결과는 다음과 같습니다.

설정: "유령 사냥"

연구진은 DELVE라는 실제 천문 조사 데이터를 사용했습니다. 그들은 잠재적인 후보들을 보여주는 방대한 양의 이미지 더미를 가지고 있었습니다. 어떤 것이 진짜 왜 은하이고 어떤 것이 그냥 "쓰레기(artifact)"인지 판단하기 위해, 그들은 "시민 과학(citizen science)" 캠방페인을 진행했습니다. 이것은 1,650명이 넘는 인간 자원봉사자들이 각 후보를 살펴보는 거대한 게임과 같았습니다.

각 후보는 단 하나의 사진이 아니라, 진단 패널(diagnostic panel)—즉, 결정을 내리기 위해 함께 살펴봐야 하는 여러 차트와 그래프(별에 대한 의료 보고서 같은 것)의 집합체였습니다. 인간들은 투표했습니다: "이것은 진짜 은하인가, 아니면 쓰레기인가?"

테스트: AI도 게임을 할 수 있을까?

연구진은 강력한 AI(구체적으로 GPT-5-mini라고 불리는 모델)에게 이 동일한 진단 패널을 살펴보라고 요청했습니다. 연구진은 AI에게 천문학에 대해 특별히 먼저 가르치지 않았습니다. 대신, 평이한 영어로 된 지침을 주었을 뿐입니다. "이 차트들을 보세요. 만약 진짜 왜 은하처럼 보인다면 'Dwarf'라고 말하세요. 만약 쓰레기처럼 보인다면 'Junk'라고 말하세요." 이것을 "제로샷(zero-shot)" 학습이라고 합니다. 즉, AI의 일반적인 지능과 제공된 지침만을 사용하여 새로운 업무를 수행하도록 요청하는 것입니다.

결과: 좋은 점, 나쁜 점, 그리고 불확실한 점

1. 큰 그림: AI는 훌륭한 군중 서퍼(Crowd Surfer)이다
연구진이 전체 그룹으로서 결과를 살펴보았을 때, AI는 놀라울 정도로 잘 해냈습니다. 만약 80%의 인간 자원봉사자들이 특정 후보를 진짜 은하라고 생각했다면, AI 또한 그것을 진짜 은하라고 말하는 경향이 있었습니다.

• 비유: 수많은 사람들이 호박의 무게를 추측하는 방을 상상해 보십시오. 평균 추측치가 20파운드라면, AI의 추측치 또한 그 주변에 위치합니다. 거시적인 관점에서 AI는 인간과 "결(vibe)"이 맞습니다.

2. 개별 사례: AI는 기분 변화가 심하다(Mood Swinger)
하지만, 구체적이고 까다로운 사례들을 하나씩 살펴보았을 때, AI는 인간보다 훨씬 신뢰도가 떨어졌습니다.

• 비유: 만약 당신이 인간에게 "이것이 진짜 유령인가요?"라고 묻는다면, 그들은 "꽤 확신합니다"라고 답할 것입니다. 하지만 똑같은 까다로운 사례에 대해 AI에게 물으면, AI는 동전을 던지는 것과 같습니다. 사진이 바뀌지 않았음에도 불구하고, 어떤 때는 "예"라고 하고, 어떤 때는 "아니오"라고 합니다. AI는 인간이 가진 사례별의 꾸준한 판단력을 결여하고 있습니다.

3. 확신의 문제: AI는 자신이 추측하고 있다는 사실을 알지 못한다
연구진은 AI에게 자신의 답변에 대한 확신도(높음, 중간, 낮음)를 측정하도록 요청했습니다. 그들은 AI가 "높은 확신"이라고 말할 때 거의 매번 정답을 맞히기를 바랐습니다.

• 현실: AI의 확신 측정기는 고장 나 있었습니다. AI는 틀린 답변을 하면서도 "높은 확신"을 보이는 경우가 많았고, 정답을 맞혔을 때조차 "높은 확신"을 보이는 경우가 드물었습니다.
• 비유: 기상 캐스터가 "비가 올 것이라고 100% 확신합니다"라고 말하지만 실제로는 맑은 날씨인 상황을 상상해 보십시오. 혹은 비가 쏟아지고 있는데도 "잘 모르겠습니다"라고 말하는 상황 말입니다. 당신은 우산을 챙길지 결정하기 위해 그들의 "확신" 점수를 신뢰할 수 없습니다.

4. "테스트 반복하기" 기술은 효과가 없었다
연구진은 확신 문제를 해결하기 위해 한 가지 기술을 시도했습니다: AI에게 같은 질문을 10번 던지고 답변을 평균 내는 것이었습니다. 그들은 이를 통해 AI의 혼란을 완화할 수 있기를 바랐습니다.

• 현실: 이 방법도 별 도움이 되지 않았습니다. 10번을 물어본 후에도, 까다로운 사례들에 대한 AI의 답변은 여전히 중구난방이었습니다. AI는 "아마도"와 "확실히" 사이의 차이를 신뢰성 있게 구분해내지 못했습니다.

결론

이 논문은 이러한 AI 모델들이 빠른 1차 필터링(first-pass filter)에는 훌륭하다고 결론짓습니다. 만약 수백만 장의 이미지가 있고 단순히 명백한 쓰레기들을 제거하고 싶다면, AI는 준수한 성능을 보이며 인간의 시간을 절약해 줄 수 있습니다.

하지만, AI는 까다로운 사례에 대한 최종 판사가 될 준비가 되지 않았습니다. AI는 과학자들에게 "이것은 믿어도 됩니다"라거나 "이것은 무시하세요"라고 신뢰성 있게 말할 수 없습니다. AI가 신뢰할 수 있는 확신 점수를 제공할 수 있을 때까지, 어렵고 모호한 발견에 대해서는 여전히 인간이 핵심적인 역할을 수행해야 합니다.

요약하자면: AI는 쉬운 우편물을 분류할 수 있는 유능한 인턴이지만, 아직 스스로 복잡한 미스터리를 풀 수 있는 선임 형사는 아닙니다.