Symposium: Trust via Auditable Records for Communities of AI Scientist Agents

과학은 언제나 단순하고 인간적인 리듬에 의존해 왔습니다. 연구자가 주장을 제기하고, 증거를 수집하며, 다른 이들이 확인할 수 있도록 기록하는 방식입니다. 이 시스템이 작동하는 이유는 기록이 안정적이기 때문입니다. 오늘 발표된 논문은 10년 후의 동료가 읽고 검증할 수 있으며, 그 동료는 모든 단계를 원래의 데이터까지 거슬러 올라가 추적할 수 있습니다. 하지만 이제 인공지능 에이전트라는 새로운 종류의 과학자가 실험실에 들어서고 있습니다. 이 프로그램들은 인간보다 훨씬 빠르게 수천 편의 논문을 읽고, 실험을 설계하며, 데이터를 분석할 수 있습니다. 이들은 발견을 가속화할 것을 약속하지만, 독특한 위험성도 안고 있습니다. 이들은 매우 빠르고 유능하기 때문에, 사실을 지어내거나, 출처를 잘못 읽거나, 원하는 결과에 맞추기 위해 데이터를 미묘하게 왜곡하는 것과 같이 찾아내기 어려운 실수를 저지를 수 있습니다. 인간 연구자가 오류를 범하면 대개 명백히 드러나지만, AI 에이전트가 오류를 범하면 그 오류는 생성된 텍스트의 산더미 속에 파묻혀 무엇을 믿어야 할지 알기 어렵게 만듭니다.

과학계가 직면한 질문은 단순히 더 나은 AI를 만드는 법이 아니라, AI가 말하는 것을 어떻게 신뢰할 수 있는 시스템을 구축하느냐 하는 것입니다. 만약 기계가 가설을 생성하거나 데이터 세트를 분석한다면, 그 추론이 타당하다는 것을 어떻게 알 수 있을까요? 그것이 단지 추측에 불과하지 않다는 것을 어떻게 확신할 수 있을까요? 답은 AI 자체를 바꾸는 것이 아니라, AI의 작업 방식을 기록하는 방법을 바꾸는 데 있습니다. 우리는 AI의 첫 번째 추측부터 최종 결론에 이르기까지의 전체 사고 과정을 영구적이고 투명하며 사후에 변경이 불가능한 형식으로 포착할 수 있는 방법이 필요합니다. 이것이 캘리포니아 대학교 샌디에이고 캠퍼스의 연구자인 덱스터 프랫(Dexter Pratt)이 '심포지엄(Symposium)'이라는 새로운 프레임워크를 통해 해결하고자 하는 과제입니다.

심포지엄은 새로운 유형의 AI 에이전트도 아니고, 에이전트의 업무를 돕는 소프트웨어 도구도 아닙니다. 대신, 이는 인공지능 시대를 위해 특별히 설계된 디지털 파일링 시스템입니다. 모든 책, 모든 메모, 모든 종이 조각이 한 번 봉인되면 열거나 변경할 수 없는 유리 케이스 안에 잠겨 있는 도서관을 상상해 보십시오. 이 도서관에서 '책'은 단지 최종 보고서만이 아니라, 결론에 이르게 된 전체 추론의 흔적입니다. 이 시스템은 AI 에이전트가 고려한 모든 가설, 검토한 모든 데이터, 그리고 그 과정에서 내린 모든 가정을 기록합니다. 결정적으로, 심포지엄은 AI가 어떤 정보를 증거로 사용하고 있는지 정확히 밝히도록 강제합니다. 만약 어떤 에이전트가 특정 약물이 효과가 있다고 주장한다면, 반드시 그 주장을 뒷받침하는 구체적인 데이터 테이블이나 실험을 지목해야 하며, 명시적으로 밝히지 않는 한 다른 어떤 정보도 증거로 사용할 수 없습니다.

심포지엄의 핵심 아이디어는 신뢰가 단일한 점수나 단순한 '예' 또는 '아니오'의 판단이 아니라는 점입니다. 신뢰는 특정한 목적을 위한 결정입니다. 연구자는 AI의 발견을 소규모 후속 실험을 수행할 만큼은 신뢰할 수 있지만, 중대한 의료 권고의 근거로 삼기에는 충분하지 않다고 결정할 수 있습니다. 심포지엄은 모든 항목에 그 목적과 관련된 이해관계를 명시하도록 요구함으로써 이러한 뉘앙스를 포착합니다. AI가 결과를 발표할 때, 왜 그 결론에 도달했는지, 어떤 가정을 해야 했는지, 그리고 그것이 틀렸을 경우 어떤 결과가 초래될지를 설명해야 합니다. 이는 명확하고 감사 가능한 흔적을 만듭니다. 미래의 과학자, 혹은 다른 AI 에이전트가 그 연구를 바탕으로 작업을 하고 싶다면, 기록을 살펴보고 원래의 결론이 어떻게 도출되었는지 정확히 파악할 수 있습니다. 그들은 증거를 확인하고, 가정이 유효한지 검토하며, 스스로 그 결과를 신뢰할지 여부를 결정할 수 있습니다.

이 시스템은 모든 연구 조각을 '아티팩트(Artifact, 유물/결과물)'라고 불리는 영구적인 기록으로 취급함으로써 작동합니다. 이 아티팩트들은 수정할 수 없는 역사 속에서 서로 연결됩니다. 만약 AI가 실수를 하거나 이전의 결론을 바꾸는 새로운 정보를 발견하더라도, 기존의 기록을 삭제하거나 편집하지 않습니다. 대신, 오류와 수정 사항의 역사가 그대로 보이도록 기존 기록을 온전히 남겨둔 채 새로운 기록을 게시하여 수정을 설명합니다. 이 접근 방식은 인간 과학이 오류를 처리하는 방식을 모방하면서도, AI 에이전트의 빠르고 방대한 출력량에 적용한 것입니다. 이 프레임워크는 다양한 연구 집단이 자신들만의 도구와 방법을 사용하면서도, 작업 기록을 남기는 동일한 규칙을 준수할 수 있도록 유연하게 설계되었습니다. 이는 연구의 역사를 이를 생성하는 에이전트로부터 분리하여, 에이전트 뒤의 기술이 변하더라도 기록은 살아남을 수 있도록 보장합니다.

프랫의 논문은 이 시스템의 규칙을 소개하고, 이것이 실제로 어떻게 기능하는지 보여주는 작동 예시를 제공합니다. 이 예시는 AI 에이전트가 과학적 논증을 생성하고, 이를 주장, 증거, 가정으로 나누어 인간 독자가 따라갈 수 있는 방식으로 연결하는 과정을 보여줍니다. 시스템은 에이전트가 무엇을 알고 무엇을 추측하고 있는지 명확히 밝히도록 강제합니다. 또한 에이전트가 어떤 데이터 포인트가 증거로 사용되고 있는지 명확히 선언하고, 모든 단계의 이면에 있는 추론을 설명하도록 요구합니다. 이러한 세부 수준의 상세함이 바로 시스템을 '감사 가능(auditable)'하게 만드는 요소입니다. 이를 통해 인간이든 기계든 결론을 그 근원으로 거슬러 올라가 논리가 타당한지 검증할 수 있습니다.

또한 이 논문은 AI 에이전트가 사실이나 인용을 지어내는 '환각(hallucination)' 문제를 다룹니다. 심포지엄 프레임워크에서 에이전트는 단순히 출처를 인용하는 것에 그치지 않고, 그 출처를 증거로 선언하고 왜 그것이 관련이 있는지 설명해야 합니다. 만약 에이전트가 적절히 선언되지 않은 데이터를 사용하려 한다면, 시스템은 이를 거부합니다. 이는 약한 논증을 강한 것처럼 보이게 하려는 종류의 미묘한 기만을 막는 장벽을 만듭니다. 이 시스템은 AI가 항상 옳을 것이라고 보장하지는 않지만, 추론 과정이 가시적일 것이라는 점은 보장합니다. 만약 AI가 틀렸다면, 증거의 사슬이 끊어져 있거나 가정이 명확히 명시되어 있기 때문에 오류는 분명하게 드러날 것입니다.

이 연구의 가장 중요한 측면 중 하나는 '실험실의 전승(lore of the laboratory)'에 대한 집중입니다. 전통적인 과학에서 연구자들은 종로는 잘 공유되지 않는 개인 노트에 실패한 실험, 막다른 길, 그리고 부정적인 결과들을 기록하곤 합니다. 이러한 기록은 다른 이들이 똑같은 실수를 반복하며 시간을 낭비하지 않도록 방지해주기에 매우 가치 있습니다. 심포지엄은 성공적인 발견뿐만 아니라 모든 작업의 기록을 장려합니다. 에이전트가 실패한 부분까지 포함한 전체 워크플로우를 공개할 수 있게 함으로써, 시스템은 과학계의 공유된 기억을 창출합니다. 이는 AI가 하루 만에 방대한 양의 데이터와 분석을 생성할 수 있다는 점에서 특히 중요합니다. 이 정보를 기록하고 정리할 시스템이 없다면, 그중 많은 부분이 사라지거나 잊힐 것입니다.

이 프레임워크는 자신의 실험실에 AI 에이전트를 배치하는 소규모 연구 공동체가 사용하도록 설계되었습니다. 이는 에이전트가 자신의 작업을 발표하고 타인의 작업을 기반으로 발전시킬 수 있는 공유 기록을 설정할 수 있는 인프라를 제공합니다. 시스템은 확장 가능하므로, 새로운 유형의 AI 도구가 등장하더라도 기존 기록을 깨뜨리지 않고 이를 수용할 수 있도록 적응할 수 있습니다. 기술이 급격히 진화하고 있기 때문에 이러한 유연성은 매우 중요하며, 경직된 시스템은 빠르게 구식이 될 것입니다.

논문은 심포지엄이 완벽한 해결책이라거나 AI의 모든 문제를 해결할 것이라고 주장하지 않습니다. 이는 투명성과 책임성을 우선시하는 새로운 방식의 연구 기록 제안입니다. 저자는 이 시스템이 에이전트가 규칙을 따를 것에 의존하고 있으며, 에이전트가 정직하도록 강제할 방법은 없다는 점을 인정합니다. 그러나 추론 과정을 가시적이고 영구적으로 만듦으로써, 시스템은 에이전트가 실수를 숨기기 훨씬 어렵게 만듭니다. 이는 신뢰의 부담을 에이전트 자체가 아닌, 그가 남긴 기록으로 옮기는 것입니다.

결국, 심포지엄은 AI와 인간이 확신을 가지고 협력할 수 있는 공간을 만드는 것에 관한 것입니다. 이는 발견을 가속화하는 AI의 힘을 인정하면서도, 인간의 감독과 검증의 필요성을 존중하는 프레임워크입니다. 과학적 결론이 도출되는 방식에 대해 명확하고 변경 불가능한 기록을 제공함으로써, 과학계가 AI가 생성한 작업의 신뢰성을 사례별로 평가할 수 있게 해줍니다. 이것은 마법의 지팡이는 아니지만, AI가 우리가 이해할 수 없는 결과를 내놓는 '블랙박스'가 아니라 과학적 과정의 신뢰할 수 있는 파트너가 될 수 있는 미래를 향한 실질적인 발걸음입니다. 이 연구는 감사 가능한 증거와 공유된 역사의 견고한 토대 위에 세워진 새로운 종류의 과학적 협업을 위한 기초를 닦고 있습니다.