Contemporary AI lacks the imagination to diverge or negate in science

개요: AI 과학자에 대한 현실적인 점검

우리가 아주 똑똑한 로봇에게 과학의 가장 어려운 미스터리들을 해결해 달라고 부탁하는 세상을 상상해 보세요. 우리는 그 로봇이 인간은 아직 생각하지 못한 아주 새롭고 훌륭한 아이디어들을 내놓기를 기대합니다. 이 논문은 그 로봇이 정말로 그 일을 할 준비가 되었는지 확인하기 위한 거대한 실전 "스트레스 테스트"와 같습니다.

연구진들은 단순히 AI에게 이야기를 써보라고 시킨 것이 아니라, AI에게 과학자처럼 행동하라고 요구했습니다. 그들은 생물학, 의학, 화학, 사회과학 분야의 실제 과학 논문 12만 편을 가져와서, 각 논문의 "퍼즐"을 살펴보고 그다음 단계로 무엇을 제안할지 AI에게 물었습니다. 그런 다음, 그 AI의 제안들을 실제 논문 저자들에게 보내 그들이 어떻게 생각하는지 확인했습니다.

연구 결과는 크게 세 가지 이야기로 나뉩니다.

---

1. "집단 지성(Hive Mind)" vs "방랑자(Wanderer)"

발견된 사실: 대부분의 AI 모델(비추론형 모델)은 거대하고 단일한 목표를 가진 집단처럼 행동합니다. 만약 열 개의 모델에게 같은 퍼즐을 풀라고 한다면, 그들은 거의 똑같은 아이디어를 내놓습니다. 그들은 서로 매우 유사하며, 또한 인간이 이미 말했던 내용과도 매우 유사합니다. 그들은 진정으로 틀을 깨고 생각하는 것이 아니라, 그저 상자 안의 가구를 재배치하고 있을 뿐입니다.

비유: 열 명의 학생에게 길 잃은 강아지에 대한 이야기를 써보라고 한다고 상상해 보세요.

• 비중립적(비추론형) AI: 열 명의 학생 모두가 똑같은 이야기를 씁니다: "강아지는 공원에 갔다가, 뼈다귀를 발견하고, 집으로 돌아왔다." 그들은 모두 똑같은 인기 영화의 줄거리를 베끼고 있는 것입니다.
• 추론형 AI: 이 모델들은 조금 더 낫습니다. 그들은 공원을 좀 더 돌아다닙니다. 어떤 모델은 강아지가 해변에 갔다고 제안하고, 다른 모델은 빵집에 갔다고 제안할 수도 있습니다. 이들은 더 다양한 모습을 보입니다.

결여된 요소: "방랑자(추론형 모델)"들에게도 사각지대가 있습니다. 그들은 **"아무 일도 일어나지 않았다"**라는 아이디어를 거의 제안하지 못합니다.

• 비유: 만약 과학자가 "블루베리를 먹는 것이 달리기 속도를 높여주는가?"라고 묻는다면, AI는 "네, 블루베리는 초스피드를 제공합니다!"라거나 "아마도 수분 보충에 도움을 줄 것입니다"라고 제안할 것입니다.
• 인간의 움직임: 인간 과학자는 "사실, 블루베리가 달리기 속도에 아무런 영향도 주지 않을 수도 있다"라고 말할 수 있습니다.
• AI의 실패: AI는 '귀무 가설'(아무런 연결 고리가 없다는 생각)을 거의 제안하지 않습니다. 이는 마치 요리사가 재료를 추가하는 법만 알고, "이 요리에는 아무것도 넣을 필요가 없다"라고 말하는 법을 잊어버린 것과 같습니다. 논문은 이것이 AI가 주로 "성공 사례(긍정적 결과)"만을 보고하는 책들로 학습되었기 때문이라고 설명합니다. 반면 "실패(무효 결과)"는 과학의 "서랍 속"에 숨겨져 AI의 눈에 띄지 않는 경우가 많습니다.

2. 과학자들의 "에코 체임버(Echo Chamber, 메아리 방)"

발견된 사실: 실제 과학자들이 AI의 아이디어를 검토했을 때, 그들은 객관적인 심판처럼 행동하지 않았습니다. 그들은 자기 자신의 연구를 좋아하는 팬처럼 행동했습니다.

• "나와 닮은 것" 편향: 과학자들은 자신의 이전 연구와 비슷하게 들리는 AI 아이디어를 좋아했습니다. 그들은 이러한 아이디어가 더 "실현 가능하고" "사실일 가능성이 높다"고 생각했습니다. 하지만 역설적으로, 그들은 이러한 아이디어들이 덜 참신하다고(새롭지 않다고) 생각했습니다.
• "연차(경력)" 편향: 연륜이 있는 유명한 과학자들(시니어 연구자들)은 젊은 연구자들보다 훨씬 더 엄격한 비평가였습니다. 그들은 특히 사회과학 분야에서 AI의 아이디어를 채택하는 데 소극적이었습니다.
• "분야" 편향: 의학 분야의 과학자들이 AI에 가장 개방적이었습니다. 사회과학 분야의 과학자들은 가장 회의적이었습니다. 왜일까요? 사회과학은 문화나 역사와 같이 맥락에 크게 의존하며 매우 복잡하기 때문입니다. 데이터의 패턴을 학습하는 AI는 이러한 변화무쌍하고 복잡한 인간적 맥락을 이해하는 데 어려움을 겪습니다. AI는 "평균적인" 의견을 복제하려고 노력하지만, 사회과학에서는 복제할 만한 "평균적인" 의견 자체가 존재하지 않는 경우가 많습니다.

비유: 건축가 그룹이 새로운 설계를 검토하고 있다고 상상해 보세요.

• 만약 AI가 건축가가 이전에 지었던 고층 빌딩과 똑같이 생긴 건물을 제안한다면, 건축가는 "좋아요! 안전하고 실행 가능하네요!"라고 말합니다(하지만 동시에 "지루하군요, 이미 본 적 있는 겁니다"라고도 생각합니다).
• 만로 AI가 파격적이고 새로운 디자인을 제안한다면, 건축가는 "그건 위험합니다"라고 말합니다.
• 나이가 많은 유명 건축가들은 가장 엄격한 비평가입니다. 그들은 업계의 "원로"로서 온갖 것을 다 겪어보았기에 새로운 기술에 대해 매우 회의적입니다.

3. 고장 난 성적표

발견된 사실: 현재 과학계는 시간을 아끼기 위해 다른 AI 도구들을 사용하여 과학적 아이디어를 자동으로 채점하고 있습니다. 이 논문은 이 도구들을 테스트했고, 그들이 제 역할을 전혀 못 한다는 것을 발견했습니다.

• 문제점: 이 자동화된 심판들은 모두에게 "C-" 학점을 줍니다. 그들은 높은 점수나 낮은 점수를 주는 것을 두려워합니다. 모든 것을 중간 수준으로 뭉뚱그려 버립니다. 그들은 뛰어난 아이디어와 형편없는 아이디어를 구분하지 못합니다.
• 해결책: 연구진은 실제 인간 과학자들이 무엇을 좋아하는지에 기반하여 훈련된 새로운 맞춤형 "보상 모델(특화된 AI 심판)"을 구축했습니다. 이 새로운 모델은 다양한 과학 분야의 미묘한 "취향"을 학습했습니다. 이 모델은 인간이 생각하는 바를 훨씬 더 잘 예측하여, 로봇 심판과 인간 심판 사이의 간극을 좁혔습니다.

비유: 음악 경연 대회에 로봇 심사위원들이 있다고 상상해 보세요.

• 기존 로봇 심사위원: 록 음악, 재즈, 컨트리 음악을 듣고 모두 10점 만점에 5.5점을 줍니다. 그들은 차이를 구분하지 못합니다.
• 새로운 맞춤형 심사위원: 연구진은 수천 개의 인간 음악 평론가들이 좋아했던 사례를 보여줌으로써 새로운 로봇을 가르쳤습니다. 이제 이 새로운 로봇은 "아, 이 재즈 곡은 인간들이 좋아하는 멋진 반전이 있군"이라고 알아차리고 9점을 줄 수 있습니다. 드디어 '분위기(vibe)'를 이해하게 된 것입니다.

결론

이 논문은 오늘날의 AI가 유능한 조수이지만, 창의적인 파트너는 아니다라고 결론짓습니다.

• 잘하는 것: 많은 책을 읽고, 요약하며, 이미 쓰인 내용을 바탕으로 다음 논리적 단계를 제안할 수 있습니다. 즉, 아이디어를 찾는 과정을 확장해 줍니다.
• 부족한 것: 상상력과 **부정(negation)**이 부족합니다. AI는 "만약 이것이 틀렸다면 어떨까?" 또는 "만약 아무 일도 일어나지 않는다면 어떨까?"라고 말할 줄 모릅니다. AI에게는 호기기심이 없습니다. AI는 무엇을 다음에 배울 수 있을지 궁금해하기보다는, 이미 말해진 것을 예측할 뿐입니다.

최종적인 은유:
AI를 매우 빠르고 박식한 사서라고 생각해 보세요.

• 만약 당신이 "고양이에 대해 쓰인 책이 뭐가 있나요?"라고 묻는다면, 사서는 지금까지 쓰인 모든 고양이 관련 책의 목록을 즉시 줄 수 있습니다.
• 하지만 "고양이란 무엇이 아닌가요?" 혹은 "만약 고양이가 날 수 있다면 어떨까요?"라고 묻는다면, 사서는 혼란에 빠집니다. 사서는 오직 서가에 존재하는 책들만 알기 때문입니다. 사서는 쓰이지 않은 책들이나, 시도되었다가 실패한 아이디어들에 대해서는 알지 못합니다.

과학이 진정으로 발전하기 위해서는, 여전히 인간이 기이한 질문을 던지고, 불가능한 것을 상상하며, 무엇이 중요한지를 결정해야 합니다. AI는 도서관을 정리하는 데 도움을 줄 수는 있지만, 인류 지식의 다음 장을 스스로 써 내려갈 수는 없습니다.