Large Language Models for Cancer Communication: Evaluating Linguistic Quality, Safety, and Accessibility in Generative AI

거대한 도서관에 들어선 모습을 상상해 보세요. 그곳의 책들은 인터넷의 거의 모든 것을 읽은 아주 똑똑한 로봇이 쓴 것입니다. 이 로봇의 이름은 거대 언어 모델(LLM)입니다. 수백만 개의 대화, 뉴스 기사, 교과서를 암기한 디지털 앵무새와 같다고 생각하면 됩니다. 이 로봇은 인간처럼 말하고, 문장을 완성하며, 복잡한 아이디어를 친절하게 설명하는 데 매우 능숙합니다. 하지만 여기에는 함정이 있습니다. 로봇이 자신 있게 말한다고 해서 반드시 진실을 말하는 것은 아니며, 친절하다고 해서 반드시 안전한 것도 아닙니다.

이제 이 도서관의 한 구석, 여성들에게 영향을 미치는 두 가지 암인 유방암과 자궁경부암에 관한 건강 정보를 다루는 매우 진지한 구역을 상상해 보세요. 이 구역에서는 정보를 정확하게 전달하는 것이 생사가 걸린 문제입니다. 만약 로봇이 잘못된 조언을 준다면, 당신은 의사를 만나야 할 시기를 놓치거나 무서운 실수를 저지를 수도 있습니다. 과학자들은 다음과 같은 의문을 가져왔습니다. "우리가 이 로봇에게 암에 대해 물었을 때, 명확하고 안전하며 친절한 답변을 줄 것인가, 아니면 혼란스러워하거나 못된 말을 하거나 사실을 지어낼 것인가?" 이것이 바로 연구자들이 해결하려고 노력 중인 큰 질문입니다. 왜냐하면 우리는 이 디지털 조력자들이 실제 사람들과 건강에 대해 대화할 준비가 되었는지 알아야 하기 때문입니다.

---

위대한 로봇 건강 검진

이 연구에서 한 연구팀은 여덟 가지 서로 다른 로봇의 뇌를 대상으로 유방암과 자궁경부암에 관한 질문을 어떻게 처리하는지 확인하기 위해 엄격한 "건강 검진"을 실시하기로 했습니다. 그들은 단순히 로봇에게 채팅을 시킨 것이 아니라, 세 가지 특정 도전 과제가 있는 거대한 장애물 코스를 설정했습니다: 언어적 품질(로봇이 얼마나 잘 말하고 생각하는가), 안전성 및 신뢰성(듣기에 안전한가, 아니면 독성이 있는가), 그리고 의사소통 접근성 및 효과성(이해하기 쉬운가, 그리고 배려심 있게 들리는가)입니다.

연구팀은 두 팀을 맞붙였습니다. 1팀은 요리 레시피부터 우주 여행까지 모든 것을 학습한 다섯 대의 일반적인 '올스타' 로봇들이었습니다(Llama 3, Gemma, Alpaca 등). 2팀은 의학 교과서와 의사 노트를 바탕으로 특별히 추가 학습을 받은 세 대의 '의학 전문가' 로봇들이었습니다(MedAlpaca, BioMistral 등). 연구자들은 전문가들이 실제로 더 나은 능력을 갖추고 있는지, 아니면 일반 올스타들이 진정한 영웅인지를 알고 싶었습니다.

결과: 일반 모델은 말하기 대회에서 승리했고, 전문 모델은 엇갈린 결과를 보였다

여기서 흥미로운 점은 결과가 많은 이들의 예상과는 정반대로 나타났다는 것입니다.

언어적 품질(기본적으로 답변이 얼마나 똑똑하고 명확하며 논리적인가)에 있어서는 일반 올스타들이 왕좌를 차지했습니다. Llama 3라는 이름의 로봇이 압도적인 승자였으며, 일관성 있고 정확하며 가짜 사실을 만들어내는 문제(환각 현상)가 거의 없는 답변을 생성했습니다. 하지만 의학 전문가들의 이야기는 단순하지 않았습니다. Meditron과 같은 일부 모델은 일반 로봇보다 가짜 사실을 적게 만들어냈지만, 다른 모델들은 어려움을 겪었습니다. 평균적으로 의학 모델들은 너무 혼란스러운 전문 용어를 사용하거나 논리적 흐름에 문제가 있는 경향이 있었습니다. 로봇이 의학을 공부했다고 해서 반드시 더 나은 글쓰기나 사고 능력을 갖추게 되는 것은 아니라는 사실이 드러났습니다. 때로는 한 분야에 너무 집중하는 것이 다른 영역에서의 실수로 이어지기도 합니다.

그러나 연구진이 안전성과 신뢰성을 확인했을 때, 결과는 복잡하게 섞여 있었습니다. 일반 올스타들(특히 Llama 3)은 독성이나 편향성이 낮아 지속적으로 가장 안전한 선택지임을 보여주었습니다. 하지만 의학 전문가들이 모두 "안전하지 않은" 로봇 그룹이었던 것은 아닙니다. 사실, 한 전문 모델인 MedAlpaca는 테스트된 모든 로봇 중 독성이 가장 낮고 성별 편향이 가장 적었습니다. 오직 다른 의학 모델들만이 잠재적인 해악, 독성, 편향성을 더 높게 보였습니다. 즉, 어떤 의학 로봇들은 사실은 잘 알았지만 친절하거나 공정함을 잊어버린 반면, 어떤 모델들은 가장 예의 바르고 안전한 그룹이 되기도 했습니다.

하지만 의학 전문가들에게는 하나의 초능력이 있었습니다. 바로 접근성입니다. 텍스트를 읽기 쉽게 만드는 데 있어서, 전문가들(MedAlpaca 등)은 훨씬 더 단순한 언어로 글을 썼습니다. 그들의 답변은 읽기 수준(grade level)이 낮아 더 넓은 층의 사람들이 이해하기 쉬웠습니다. 일반 올스타들은 더 똑똑하게 들릴지는 몰라도, 대학 학위가 없는 사람이 따라가기에는 어려울 수 있는 복잡하고 높은 수준의 언어를 사용했습니다.

핵심 요약

이 연구는 우리가 "의학용" 로봇이라고 해서 자동으로 환자와 대화하기에 최적의 선택이라고 가정해서는 안 되며, 그렇다고 그들이 모두 위험하다고 단정 지어서도 안 된다는 것을 시사합니다. 연구 결과는 까다로운 절충점이 존재함을 보여줍니다: 일반 로봇은 대체로 똑똑하고 안전하며 공감 능력이 있게 들리지만, 일부 사람들이 읽기에는 너무 어려운 방식으로 글을 씁니다. 의학 로봇은 엇갈린 모습을 보입니다. 어떤 것들은 쉬운 언어로 쓰지만 안전하지 않거나 편향될 수 있고, 또 다른 것들(MedAlpaca와 같은)은 실제로 가장 안전하고 가독성이 좋습니다.

연구진은 주의가 필요하다고 결론지었습니다. 우리는 건강 관련 질문을 아무 로봇에게나 맡기고 결과가 좋기를 바랄 수는 없습니다. 대신, 우리는 일반 로봇의 안전성과 명확함, 그리고 의학 로봇의 쉬운 언어라는 두 세계의 장점을 결합한 더 나은 시스템을 구축해야 합니다. 그때까지 이러한 디지털 도구들은 단순히 똑똑할 뿐만 아니라, 안전하고 친절하며 누구나 이해하기 쉬워지도록 더 많은 미세 조정(tuning)이 필요합니다.