Real-World Evaluation of an AI Agent Drafting Translational Impact Summaries

의학 연구의 세계를 질병을 치료하고, 공동체를 돕고, 비용을 절감하는 법에 대한 새로운 책들을 끊임없이 써 내려가는 과학자들이 가득한 거대하고 북적이는 도서관이라고 상상해 보세요. 하지만 함정이 하나 있습니다. 사서들(연구 프로그램을 관리하는 사람들)에게는 엄청나고 불가능에 가까운 임무가 주어졌습니다. 그들은 도서관의 모든 과학자가 단순히 멋진 논문만 쓰는 것이 아니라, 실제로 세상에 실질적인 변화를 일으키고 있다는 것을 증명해야 합니다. 보통 이를 위해 사서는 각 과학자의 선행을 한 문장으로 요약하기 위해 인터넷을 뒤지고, 연구 지원 기록을 확인하고, 뉴스 기사를 읽는 데 약 15시간을 소비해야 합니다. 이것은 마치 건초더미 속에서 특정 바늘을 찾아낸 다음, 그 바늘에 대해 손으로 직접 시를 쓰는 것과 같습니다. 만약 과학자가 새로운 도시로 이사를 가거나 직장을 옮기면, 사서는 처음부터 다시 검색을 시작해야 합니다. 이는 느리고, 기력을 소진시키며, 수백 명의 과학자를 추적하기에는 적합하지 않은 방식입니다.

여기서 새로운 종류의 조력자가 등장합니다: 바로 AI 에이전트입니다. 이 AI를 모든 것을 아는 마법의 로봇이 아니라, 매우 빠르고 지치지 않는 연구 인턴이라고 생각해보세요. 이 인턴은 몇 초 만에 수천 개의 웹사이트, 데이터베이스, 뉴스 피드를 스캔할 수 있습니다. 그리고 정보를 수집하여 과학자가 무엇을 했는지에 대한 단서를 모읍니다. 하지만 반전이 있습니다. AI는 최종 보고서를 바로 제출하도록 허용되지 않습니다. 대신, AI는 초안 작성자 역할을 합니다. AI가 모든 증거를 수집하여 '영향력 요약(impact summary)'의 초안을 작성하면, 인간 사서가 개입하여 그 결과물을 검토합니다. 인간은 처음부터 시작할 필요가 없습니다. 그저 AI의 초안을 읽고, 몇 가지 오류를 수정하며, "네, 이것은 사실입니다" 또는 "아니요, 이것은 틀렸습니다"라고 말하기만 하면 됩니다. 이 논문이 던지는 핵심 질문은 이것입니다: 이 인간과 AI의 팀이 혼자 일하는 인간보다 더 빠르고 더 잘 해낼 수 있는가?

슈퍼 인턴의 이야기

이 연구에서 일리노이 대학교 시카고의 연구진은 이 "슈퍼 인턴" AI 에이전트를 구축하고 실제 환경에 투입했습니다. 그들은 이 AI를 특별한 경력 개발 프로그램의 일환인 10명의 과학자(이를 "학자"라고 부름)에게 테스트했습니다. 목표는 AI가 증거를 수집하고 그들의 영향력 요약 초안을 작성함으로써, 인간 직원들이 겪던 그 끔찍한 15시간의 마라톤으로부터 그들을 구제할 수 있는지 확인하는 것이었습니다.

AI 에이전트는 매우 구체적인 도구 세트를 가진 탐정처럼 작동했습니다. AI는 "시드(seed)"(단순히 과학자의 이름과 소속 기관)에서 시작하여 인터넷을 가로지르는 추적을 시작했습니다. 공식 의료 데이터베이스를 확인하고, 연구 지원 기록을 살펴보고, 뉴스 사이트를 스캔했으며, 심지어 정책 문서까지 파헤쳤습니다. AI는 쉬운 작업에만 머물지 않았습니다. 과학자가 지역 사회를 어떻게 도왔는지 또는 새로운 법률에 어떤 영향을 미쳤는지와 같은 "비학술적(non-scholarly)" 증거를 찾으려고 노력했습니다. 일단 이러한 단서들을 모두 모으면, AI는 이를 깔끔한 파일("도시에(dossier)")로 정리하고, 각 발견이 세상에 어떻게 기여했는지 설명하는 한 문장의 요약을 작성했습니다.

하지만 AI가 독단적으로 행동하게 내버려 두지는 않았습니다. 이 분야의 전문가인 두 명의 인간 직원이 편집자 역할을 했습니다. 그들은 AI가 찾아낸 모든 것을 검토했습니다. 각 발견에 대해 그들은 세 가지 선택지를 가졌습니다:

1. 수락(Accept): "완벽해! 정확히 맞아."
2. 수정(Edit): "가깝지만, 이 세부 사항을 고쳐야 해."
3. 거부(Reject): "아니, 이건 틀렸거나 중요하지 않아."

또한 AI가 놓친 것을 추가할 수 있는 옵션도 있었지만, AI는 매우 철저하게 설계되어 놓치는 경우가 거의 없었습니다.

연구 결과

결과는 꽤 흥격적이었습니다. 인간 편집자들은 AI의 발견 중 **81.7%**가 즉시 사용 가능하거나 아주 약간의 수정만 필요하다는 것을 발견했습니다. 즉, AI가 100개를 찾아내면 인간은 82개를 유지했다는 뜻입니다. 이것은 매우 중요한 성과인데, 왜냐하면 AI가 정보 수집이라는 힘든 작업을 수행했음을 의미하기 때문입니다.

가장 중요한 부분은 시간입니다.

• 이전: 인간 직원이 처음부터 과학자의 영향력 기록을 구축하는 데 약 15시간이 걸린다고 추정했습니다.
• 이후: AI가 초안을 작성함에 따라, 인간 직원은 과학자 한 명당 중간값으로 단 14분만을 검토 및 수정하는 데 사용했습니다.

이는 엄청난 변화입니다! 인간은 "사냥꾼이자 작가"에서 "편집자이자 검토자"로 변모했습니다. 그들은 시간을 들여 검색할 필요 없이, 그저 AI의 작업물을 확인하는 데 몇 분만 쓰면 되었습니다.

AI는 적절한 사람을 찾는 데도 놀라울 정도로 유능했습니다. 별도의 테스트에서, 과학자의 주요 프로필 페이지를 찾는 AI의 능력은 사람이 수동으로 검색하는 것과 거의 비슷했습니다. AI는 인간이 하는 것과 마찬가지로 약 82%의 확률로 올바른 사람을 찾아냈습니다.

문제점과 규칙

물론 AI가 완벽했던 것은 아닙니다. 약 18%의 경우, 인간은 발견 내용을 거부해야 했습니다. 그 이유는 다음과 같습니다:

• 취약한 출처: 때때로 AI는 신뢰할 수 있는 뉴스 사이트 대신 무작위 디렉토리 페이지와 같은 신뢰도가 낮은 웹사이트에서 정보를 찾아냈습니다.
• 영향력이 아님: AI가 과학자가 '한' 일을 찾아내긴 했지만, 그것이 실제 "큰 영향력"은 아니었습니다(예: 과학자가 강연을 하는 것은 좋은 일이지만, 생명을 구하는 발견만큼의 영향력은 아닐 수 있음).
• 잘못된 인물: 가끔 AI가 이름이 비슷한 두 사람을 혼동하기도 했습니다.

인간은 어떤 발견이 "충분히 좋은지" 결정하기 위해 판단력을 발휘해야 했습니다. 논문은 AI가 "관대한(generous)" 방식으로 설계되었다고 언급했습니다. 즉, 인간이 나쁜 것을 버릴 수 있도록 AI가 너무 많이 찾아내도록 설계되었다는 것입니다. 이는 무언가를 찾아 헤매는 것보다 긴 목록을 편집하는 것이 더 쉽기 때문에 선택된 스마트한 전략입니다.

결론

이 논문은 인간과 AI의 팀이 이전에는 너무 느려서 처리할 수 없었던 문제를 해결할 수 있음을 시사합니다. AI는 첫 번째 단계의 저자로서 지루하고 시간이 많이 걸리는 검색과 초안 작성 작업을 수행합니다. 그런 다음 인간이 개입하여 사실을 확인하고 최종 결정을 내립니다.

이 연구는 AI가 완벽하다거나 인간을 완전히 대체할 수 있다는 것을 증명한 것이 아닙니다. 사실, 논문은 AI가 출처를 오해하거나 무엇이 "진정한" 영향력인지 오해할 수 있기 때문에 인간의 판단이 여전히 절대적으로 필요하다고 주장합니다. 그러나 이 연구는 새로운 분업 체계를 통해 전체 그룹의 영향력을 추적하는 것이 가능하다는 것을 보여줍니다. 사람당 15시간을 쓰는 대신, 이제는 몇 분 만에 이를 수행할 수 있게 되어, 과학자들의 과학적, 사회적 기여를 추적하는 것이 실질적으로 가능해졌습니다. 이것은 자전거를 업그레이드하는 것과 같습니다. 여전히 방향을 잡고 페달을 밟아야 하지만, 훨씬 더 빠르게 목적지에 도착할 수 있게 된 것입니다.