Ask Twice, Look Twice: Training-Free Consistency Filtering for Reliable Medical VQA

현대 의학의 고위험 환경에서 의사들은 X선부터 MRI 스캔에 이르기까지 복잡한 의료 영상을 해석하는 데 있어 인공지능에 점점 더 많이 의존하고 있습니다. 시각적 질의응답(visual question answering) 시스템이라고 알려진 특정 유형의 AI는 이미지를 보고 "여기에 보이는 장기는 무엇인가?" 또는 "골절이 있는가?"와 같이 자연어로 된 질문에 답하도록 설계되었습니다. 이러한 시스템은 임상 결정을 지원하는 데 엄청난 가능성을 지니고 있지만, 신뢰성이라는 결정적인 장애물에 직면해 있습니다. 사람이 질문의 어조가 약간만 바뀌어도 망설이거나 다른 대답을 할 수 있는 것처럼, 이 컴퓨터 프로그램들도 질문의 단어가 바뀌더라도 의미가 완전히 동일함에도 불구하고 때때로 실수를 할 수 있습니다. 만약 의사가 새로운 방식으로 질문했다는 이유로 AI가 자신 있게 틀린 답을 내놓는다면, 병원 환경에서의 결과는 매우 심각할 수 있습니다. 따라서 핵심 과제는 단순히 모델을 더 똑똑하게 만드는 것이 아니라, 질문이 어떻게 던져지든 혹은 이미지가 약간 변형되든 상관없이 동일한 정답을 내놓도록 일관성을 확보하는 것입니다.

시드니 대학교와 맥쿼리 대학교의 연구팀은 모델을 처음부터 다시 학습시키지 않고도 이 문제를 해결할 수 있는 새로운 방법을 개발했습니다. 그들은 이 접근 방식을 "두 번 묻고, 두 번 보기(Ask Twice, Look Twice)"라고 부릅니다. AI에게 새로운 것을 배우도록 강요하는 대신, 그들은 모델이 답변을 내놓기 전에 확신도를 확인하는 안전 필터를 구축했습니다. 이 시스템은 하나의 의료 영상과 질문을 가져온 다음, 그 질문과 의미는 정확히 같으면서도 형태가 다른 여러 버전의 질문을 자동으로 생성하는 방식으로 작동합니다. 예를 들어, 원래 질문이 "왼쪽 폐에 나타난 질병은 무엇인가?"라면, 시스템은 "왼쪽 폐에서 관찰되는 것은 무엇인가?" 또는 "왼쪽 측면에 존재하는 소견은 무엇인가?"와 같은 변형된 질문들을 만들어낼 수 있습니다. 그런 다음 AI에게 이 모든 다양한 버전의 질문을 던집니다. 만약 AI가 모든 변형된 질문에 대해 동일한 답을 내놓는다면, 시스템은 그 결과를 신뢰할 수 있는 것으로 받아들입니다. 만약 AI의 답변이 흔들리거나 서로 모순된다면, 시스템은 잘못된 진단을 내리는 위험을 감수하기보다 해당 출력을 거부하고 불확실한 것으로 표시합니다.

연구진은 이 아이디어를 테스트하기 위해 먼저 질문 변형을 자동으로 생성하는 방법을 만들어야 했습니다. 그들은 방대한 양의 텍스트로 학습된 고급 AI인 거대 언어 모델을 사용하여 기존 의료 데이터셋에 있는 질문들을 재작성했습니다. 그들은 이 과정에 엄격한 규칙을 적용했습니다. 즉, 새로운 질문은 원래의 질문과 의미가 반드시 동일해야 하며, 이미지나 원래 질문에 없는 새로운 사실을 도입해서는 안 된다는 것이었습니다. 이는 AI가 새로운 정보를 추측하는 능력이 아니라 핵심 개념을 이해하는 능력을 테스트받도록 하기 위함이었습니다. 또한 생성된 질문들이 문법적으로 올바른지, 그리고 원래의 질문과 진정으로 동등한지를 확인하여 품질을 점검했습니다. 이 과정을 통해 연구진은 모든 의료 영상이 단 하나의 질문이 아닌, 수십 가지의 서로 다른 질문 방식과 짝을 이루는 훨씬 더 풍부한 테스트 환경을 구축할 수 있었습니다.

연구진은 SLAKE라는 데이터셋(수천 개의 의료 영상과 질문을 포함)을 사용하여 두 가지 서로 다른 의료 AI 모델에 이 방법을 테스트했습니다. 그들은 실제 환경의 도전 과제들을 시뮬레이션하기 위해 네 가지 다른 버전의 데이터셋을 만들었습니다. 한 버전은 언어 변화를 처리하는 방식을 테스트하기 위해 새로운 변형 질문만을 사용했습니다. 다른 버전은 밝기를 조절하거나 약간의 블러(흐림) 효과를 추가하는 등 표준적인 컴퓨터 기술로 이미지를 약간 변형하여 시각적 견고함을 테스트했습니다. 그들은 이러한 변화들을 결합하기도 했으며, AI를 속이기 위해 미세하게 수정된 이미지, 즉 적대적 공격(adversarial attacks)도 포함했습니다. 연구진이 새로운 안전 필터 없이 모델을 실행했을 때, 결과는 시사하는 바가 컸습니다. 모델들은 언어 문제에 있어서 놀라울 정도로 취약했습니다. 질문의 표현 방식이 조금만 바뀌어도 정확도가 크게 떨어졌습니다. 반면, 모델들은 이미지 자체의 변화에는 다소 회복 탄력성을 보였으나, 텍스트와 이미지가 동시에 변형되었을 때는 여전히 어려움을 겪었습니다.

"두 번 묻고, 두 번 보기" 방식의 진정한 힘은 연구진이 일관성 필터를 적용했을 때 나타났습니다. 그들은 AI가 특정 수 이상의 질문 변형에 대해 스스로와 일치할 때만 답변을 허용한다는 규칙을 설정했습니다. 예를 들어, 질문의 최소 11개 버전 모두에 대해 모델이 동일한 답을 내놓아야 한다는 규칙을 적용한다면, 시스템은 훨씬 더 신뢰할 수 있게 됩니다. 언어 변형 데이터셋에서, 한 상위 모델의 신뢰도는 이 엄격한 규칙을 적용했을 때 약 77%에서 89%로 급증했습니다. 시각적 변화가 있는 데이터셋에서는 신뢰도가 약 80%에서 87%로 상승했습니다. 이러한 개선에는 트레이드오프(trade-off)가 따랐습니다. 시스템이 확신이 없는 답변을 거부하게 됨에 따라 실제로 답변하는 질문의 수가 줄어들었기 때문입니다. 언어 변형 데이터셋의 경우 수락률이 약 29% 감소하여, 시스템이 추측하기보다는 침묵하는 쪽을 택했습니다. 그러나 시스템이 제공한 답변은 훨씬 더 정답일 확률이 높았으며, 예측의 불확실성은 약 4분의 1 정도 감소했습니다.

이 연구는 또한 의료 AI 모델이 서로 다른 유형의 오류를 처리하는 방식의 결정적인 차이를 강조했습니다. 연구진은 모델들이 이미지의 변화보다 언어의 변화에 훨씬 더 민리하다는 것을 발견했습니다. 이미지를 약간 흐리게 만들거나 대비를 조절하더라도 모델은 비교적 잘 수행했습니다. 하지만 질문이 재구성되면 모델들은 질문이 동일하다는 사실을 인식하지 못하는 경우가 많았습니다. 이는 현재의 의료 AI 시스템이 이미지의 시각적 정보를 진정으로 이해하기보다는 질문에 사용된 특정 단어들에 크게 의존하고 있음을 시사합니다. 연구진은 전통적인 이미지 변경이 AI를 속이기 위해 설계된 미세한 컴퓨터 생성 공격보다 성능에 더 큰 악영�을 미친다는 점을 언급했는데, 이는 이러한 시스템의 취약성에 대한 기존의 가설에 도전하는 발견입니다.

이 일관성 필터를 사용함으로써, 연구진은 새로운 데이터를 학습시키거나 근본적인 구조를 변경하지 않고도 의료 AI의 신뢰성을 크게 높일 수 있다는 것을 입증했습니다. 이 방법은 시스템이 확신이 있을 때만 말하도록 보장하는 문지기 역할을 합니다. 이는 시스템이 때때로 질문에 답하지 않을 수도 있음을 의미하지만, 연구진은 임상 현장에서 확신 있게 틀린 답을 내놓는 것보다 침묵하는 시스템이 훨씬 더 안전하다고 주장합니다. 이 접근 방식은 다양한 유형의 모델과 다양한 종류의 데이터에 걸쳐 작동하며, 이는 실제 병원에서 안전성을 개선하기 위한 실용적인 도구가 될 수 있음을 시사합니다. 연구는 비록 이러한 시스템이 질문을 던지는 다양한 방식에 대응하는 능력, 즉 견고성 측면에서 여전히 개선이 필요하지만, 이 간단한 "두 번 묻기" 전략이 불확실성을 걸러내고 의사에게 전달되는 답변의 신뢰성을 보장하는 강력한 방법임을 결론지었습니다.