From Hallucination to Reliability: Generative Modeling and the Structure of Scientific Inference

과학은 오랫동안 단순하고 위안을 주는 아이디어에 의존해 왔습니다. 즉, 세상의 모델을 구축하기만 하면, 적절한 데이터를 입력하는 한 그 모델이 진실을 말해줄 것이라고 믿는 것입니다. 하지만 새로운 세대의 인공지능이 그 규칙을 바꾸고 있습니다. 이들은 단순히 정보를 깔끔한 범주로 분류하는 기존 방식의 컴퓨터가 아닙니다. 이들은 완전히 새롭고 복잡한 데이터를 무에서 유로 창조하도록 설계된 생성형 모델입니다. 이들은 단백질이 3차원 형태로 어떻게 접히는지 예측하거나, 전 지구의 날씨를 예보할 수 있습니다. 문제는 이 창의적인 기계들에게 어두운 면이 있다는 점입니다. 이들은 "환각(hallucinations)" 현상을 일으키기 쉬운데, 이는 존재하지 않는 그럴듯한 세부 사항을 AI가 지어내는 것을 설명하기 위해 인간 심리학에서 빌려온 용어입니다. 의료 영상에서 이는 건강한 뼈에 골절이 있는 것처럼 보일 수 있고, 단백질 모델에서는 자연 상태에서는 혼란스럽고 무질서한 상태인 곳을 견고한 구조로 만들어낼 수도 있습니다. 수십 년 동안 과학자들은 이러한 오류가 기술을 진지한 발견에 사용하기에는 너무 위험하게 만드는 치명적인 결함이라고 걱정해 왔습니다. 기계가 무언가를 지어내고 있다면, 우리는 어떻게 무엇이 진짜인지 알 수 있을까요?

율리히 연구 센터(Jülich Research Centre)의 연구원인 찰스 라트코프(Charles Rathkopf)의 새로운 논문은 우리가 문제를 잘못된 방향으로 바라보고 있다고 주장합니다. 생성형 AI가 신뢰할 수 없다는 공포는 과학이 실제로 어떻게 작동하는지에 대한 오해에 기반하고 있습니다. 라트코프는 우리가 AI 모델을 독립적으로 판단하는 것을 멈추고, 그 모델이 내재되어 있는 전체 과학적 과정, 즉 "워크플로(workflow)"를 판단하기 시작해야 한다고 제안합니다. 이 논문은 설령 AI가 계속해서 거짓된 세부 사항을 만들어내더라도, 과학자들이 그 주변에 안전망을 구축할 수 있다고 제안합니다. 연구자들은 자연계에 대해 이미 가지고 있는 깊은 사전 지식을 활용하여, 거짓은 걸러내고 진실만을 남길 수 있습니다. 결과적으로, 도구가 불완전하더라도 최종적인 과학적 결론은 신뢰할 수 있게 됩니다.

이것이 왜 중요한지 이해하려면 먼저 이 AI 모델들이 무엇을 하고 있는지 파악해야 합니다. 엄격하고 미리 작성된 규칙을 따르는 전통적인 소프트웨어와 달리, 생성형 AI는 방대한 양의 기존 데이터를 학습한 다음 다음에 올 것을 추측하며 배웁니다. 이는 도서관의 모든 책을 읽은 학생에게 새로운 이야기를 써달라고 요청하는 것과 같습니다. 학생은 아름답고 새로운 이야기를 쓸 수도 있지만, 존재하지 않는 캐릭터를 만들어내거나 물리 법칙에 어긋나는 줄거리를 지어낼 수도 있습니다. 과학의 세계에서 이러한 "발명"이 바로 환각입니다. 논문은 이러한 오류가 단순한 무작위 실수가 아니라 필연적인 것이라고 지적합니다. AI는 단백질의 복잡한 접힘이나 폭풍의 소용돌이 패턴과 같은 복잡하고 고차원적인 구조를 생성하려고 시도하기 때문에, 데이터가 희박한 부분에서는 반드시 빈틈을 채워야만 합니다. 그 과정에서 AI는 표면적으로는 완벽해 보이지만 근본적으로는 틀린 구조를 만들어내기도 합니다. 저자는 AI를 더 열심히 훈련시키거나 더 나은 버전의 모델을 만든다고 해서 이를 막을 수는 없다고 주장합니다. AI가 창의적이고 유용해질 수 있게 만드는 바로 그 메커니즘이 AI가 환각을 일으키게 만드는 동일한 메커니즘이기 때문입니다.

이 논문은 해당 분야의 흔한 가정 하나에 도전합니다. 즉, 환각이란 단순히 AI가 학습한 데이터와 다르게 보이는 데이터라는 생각입니다. 만약 그것이 사실이라면, 과학자들은 학습 데이터와 일치하지 않는 모든 출력을 버리기만 하면 될 것입니다. 그러나 라트코프는 이것이 함정이라고 주장합니다. 과학의 목표는 이미 알고 있는 것을 반복하는 것이 아니라, 우리가 알지 못하는 것을 발견하는 것입니다. 만약 과학자가 과거와 다르다는 이유만으로 생소한 새로운 결과를 버린다면, 그들은 의도치 않게 진정한 발견을 버리게 될 수도 있습니다. 대신, 이 논문은 환각을 더 정확하게 정의합니다. 환각이란 그것이 묘사해야 할 실제 대상에 대해 잘못된 정보를 제공하는 것이며, 의도적인 것이 아니라 실수로 발생하는 것입니다. 그것은 기계가 스스로 저지르는 실수이지, 학습된 속임수가 아닙니다.

저자는 과학자들이 AI 자체를 고칠 필요 없이 이미 이 문제를 어떻게 해결하고 있는지 보여주기 위해 두 가지 실례를 제시합니다. 첫 번째 사례는 구글 딥마인드(Google DeepMind)가 개발한 유명한 AI 시스템인 알파폴드(AlphaFold)로, 단백질의 3D 구조를 예측합니다. 단백질은 생명의 핵심이며, 그 형태가 기능을 결정합니다. 최신 버전인 알파폴드 3는 새로운 구조를 발명할 수 있는 생성적 접근 방식을 사용합니다. 개발자들은 이것이 환독을 초래할 것임을 알고 있었습니다. 실제로 이 시스템은 원래 흐물흐물하고 무질서해야 할 단백질 부위에 대해 때때로 견고하고 조밀한 형태를 만들어냅니다. 만약 과학자가 그 출력을 액면 그대로 받아들인다면 오도될 것입니다. 그러나 팀은 이러한 오류를 잡아내기 위해 AI 주변에 "워크플로"를 구축했습니다. 그들은 AI의 출력을 검사하는 품질 관리 검사관 역할을 하는 두 번째 분석 계층을 추가했습니다. 이 시스템은 AI의 출력을 보고 화학 및 물리 법칙과 대조하여 확인합니다. 예를 들어, 이 시스템은 무질서한 단백질 부위는 주변 물에 노출되어야 하는 반면, 견고한 부위는 내부에 숨겨져 있어야 한다는 것을 알고 있습니다. 만약 AI가 무질서한 부위에 대해 견고한 형태를 만들어낸다면, 워크플로는 이를 의심스러운 것으로 표시합니다. 또한 시스템은 예측된 형태의 각 부분에 대해 신뢰도 점수를 부여하여, 과학자에게 어떤 부분이 신뢰할 수 있고 어떤 부분이 환각일 가능성이 높은지를 정확히 알려줍니다. AI는 여전히 실수를 저지르지만, 워크플로는 그 실수가 최종 결론에 도달하지 않도록 보장합니다.

두 번째 사례는 기상학, 특히 기상 예보에 사용되는 SEEDS라는 시스템에서 옵니다. 날씨는 혼돈스럽습니다. 초기 조건의 미세한 변화가 완전히 다른 결과를 초래할 수 있습니다. 이를 처리하기 위해 예보관들은 "앙상블(ensembles)"을 사용하는데, 이는 가능한 미래의 범위를 얻기 위해 동일한 모델을 여러 번 실행하는 것을 의미합니다. SEEDS는 이러한 가능한 미래들을 빠르게 생성하기 위해 생성형 AI를 사용합니다. 논문은 이 AI의 개별 예보가 기압과 온도가 물리 법칙에 모순되는 것처럼 물리적으로 불가능할 수 있다고 언급합니다. 이것들이 바로 환각입니다. 그럼에도 불구하고 시스템은 신뢰할 수 있습니다. 어떻게 그럴까요? 과학자들이 단 하나의 예보를 독립적으로 보는 것이 아니라, 512개의 예보 전체를 함께 보기 때문입니다. 만약 하나의 예보가 환각이라면, 그것은 거대한 군중 속의 한 목소리에 불과합니다. 환각이 드물고 모두 동일하지 않다면, 비나 열파의 최종 확률을 계산할 때 그 환각들은 상쇄됩니다. 여기서의 워크플로는 앙상블 그 자체입니다. 출력을 단 하나의 진리가 아닌 가능성들의 집합으로 취급함으로써, 시스템은 노이즈를 걸러냅니다. 연구자들은 또한 이 예보 그룹 전체가 현실과 일치하는지 확인하기 위해 통계적 도구를 사용하여 최종 확률 수치가 신뢰할 수 있는지 확인합니다.

논문의 핵심 발견은 신뢰성이 AI의 완벽함을 요구하는 것이 아니라는 점입니다. 그것은 AI를 둘러싼 인간의 과정이 똑똑할 것을 요구합니다. 라트코프는 우리가 "환각 없는" AI를 만드는 데 집중하는 것을 멈춰야 한다고 주장합니다. 이는 불가능할 수도 있는 목표입니다. 대신 "환각에 강한(hallucination-resistant)" 워크플로를 구축하기 시작해야 합니다. 이는 초점을 기계에서 방법론으로 전환하는 것입니다. 과학자들이 그 아이디어들을 테스트할 지식을 갖추고 있는 한, 기계는 블랙박스, 즉 신비로운 아이디어 생성기로 남아 있어도 괜찮습니다. 논문은 이것이 과학이 항상 작동해 온 방식이라고 제안합니다. 우리는 불완전한 도구를 사용하지만, 그 주변에 점검과 균형을 맞추는 장치를 둡니다. AI는 가공되지 않은 재료를 제공하고, 과학자는 판단력을 제공합니다.

이러한 접근 방식은 과학에서 AI의 역할에 대한 우리의 생각을 바꿉니다. 일부 비평가들은 AI가 새로운 아이디어를 찾는 데(발견)는 유용하지만, 그것이 참임을 증명하는 데(정당화)는 적합하지 않다고 주장합니다. 그들은 실험실에서 예측을 테스트할 수 있을 때만 AI를 신뢰해야 한다고 말합니다. 라트코프는 테스트가 매우 중요하다는 점에 동의하지만, 워크플로 자체가 증명의 일부라고 덧붙입니다. AI의 출력을 필터링하고, 순위를 매기고, 자격을 부여하는 행위 자체가 정당화의 한 형태입니다. 이는 단순히 AI가 맞는지 확인하기 위해 기다리는 것이 아니라, 실험을 수행하기도 전에 AI가 맞는지 확인하는 시스템을 구축하는 것입니다. 논문은 우리가 연구하는 시스템(단백질이든 폭풍 전선이든)에 대해 충분한 배경 지식을 가지고 있다면, 이러한 안전망을 구축할 수 있다고 제안합니다.

논문은 엄숙하면서도 희망적인 메시지로 끝을 맺습니다. 신뢰할 수 있는 워크플로를 구축하는 능력은 대상 시스템에 대한 깊은 이해에 달려 있습니다. 만약 과학자들이 거의 알지 못하는 것을 모델링하려고 한다면, AI의 거짓말을 잡아낼 필터를 구축할 수 없습니다. 그런 최전선의 영역에서는 위험이 여전히 높습니다. 하지만 단백질 접힘이나 날씨 역학처럼 이미 규칙을 확고히 파악하고 있는 많은 분야에서, 생성형 AI는 강력한 파트너가 될 수 있습니다. 기계는 인간 예술가가 그림을 그리다 실수를 하는 것처럼 계속해서 환각을 일으킬 것입니다. 하지만 과학자가 진짜 그림이 어떻게 생겼는지 알고 있다면, 오류를 찾아내고 걸작을 지켜낼 수 있습니다. 이 논문은 AI 문제가 해결되었다거나 환각이 사라질 것이라고 주장하는 것이 아닙니다. 대신 더 실용적인 것을 주장합니다. 즉, 우리는 환각과 함께 살아가는 법을 배우고, 이를 관리하며, 여전히 이 강력한 도구들을 사용하여 인간 지식의 경계를 확장할 수 있다는 것입니다. 저자는 과학의 신뢰성이 도구의 완벽함이 아니라, 우리가 그것을 사용하는 지혜에 달려 있다고 주장합니다.