기술 요약: 제약 제품 진위 확인을 위한 제약 조건 기반 멀티모달 AI 프레임워크

문제 정의

위조 의약품은 전 세계 공중 보건에 심각한 위협이 되고 있으며, 규제가 취약한 지역에서는 의료 제품의 최대 30%가 기준 미달이거나 위조된 제품이라는 추정치가 있습니다. 블록체인이나 RFID와 같은 제도적 방어책이 존재하지만, 자원이 제한된 환경에서 의심스러운 패키지를 직접 들고 있는 최종 사용자를 돕는 데에는 한계가 있는 경우가 많습니다.

본 논문은 일반적인 대화형 AI(예: ChatGPT, Gemini)를 약물 검증에 사용할 때 발생하는 구체적인 격차를 식별합니다. 유창성과 참여도에 최적화된 이러한 모델들은 포렌식 정밀도보다는 대화의 매끄러움에 치중하기 때문에, 진위 여부를 판단하도록 요청받았을 때 다음과 같은 세 가지 반복적인 실패 패턴을 보입니다:

1. 시각-텍스트 괴리(Visual-Textual Dissociation): 모델이 OCR과 유사한 추론을 통해 텍ست를 읽을 수는 있지만, 타이포그래피의 어긋남, 색상 불일치, 또는 홀로그램 인장의 누락과 같은 물리적 단서를 무시할 수 있습니다.
2. 거짓 확신(False Confidence): 다음 토큰 생성(next-token generation)이 개연성을 최적화함에 따라, 모델은 증거 기반 없이도 진위 여부를 단정적으로 주장하는 경향이 있습니다.
3. 모호성 주입(Ambiguity Injection): 모델은 실행 가능한 판단을 내리는 대신, "약사에게 문의하십시오"와 같은 모호한 제안으로 회귀하는 경우가 빈번합니다.

이러한 실패는 생성형 트랜스포머 모델의 확률적 본질에서 기인하며, 온도 조절 샘플링(temperature-controlled sampling)이 이진적 정확성보다 참여도를 우선시하기 때문에 발생합니다.

방법론

저자들은 멀티모달 LLM이 개방형이 아닌 결정론적(deterministic)으로 동작하도록 제약하는 이중 모드 프레임워크인 MedTruth를 제안합니다. 시스템은 Gemini 1.5 Flash를 활용하며, 지연 시간을 최소화하기 위해 클라이언트 측 싱글 페이지 애플리케이션(SPA)으로 구현되었습니다.

아키텍처 설계

시스템은 대화 기록이 포렌식 스캔에 편향을 주는 것을 방지하기 위해 두 가지 운영 모드를 엄격히 분리하는 상태 라우터(state router)를 채택합니다:

1. 검증 모드(Verification Mode, 무상태): 모델이 구조화된 분류 함수로서 작동하는 포렌식 검사 파이프라인입니다.
2. Dr. AI 모드(Dr. AI Mode, 상태 유지): 패키지가 검증을 통과한 후에만 활성화되며, 용량 및 부작용 질의를 위해 짧은 롤링 메모리를 유지하는 대화형 어시스턴트입니다.

제약 기반 프롬프팅

생성형 모델을 점수 산출 도구로 변환하기 위해, MedTruth는 검증 모드 중에 네 가지 특정 제약을 적용합니다:

• 역할 정의: 시스템 프롬프트는 모델을 결정론적 검증 엔진으로 명시적으로 정의하며, 대화형 텍스트 생성을 금지합니다.
• 스키마 강제(Schema Enforcement): 출력은 진위 점수, 안전 권고 사항, 시각적 이상 배열, 규제 준수 플래그를 포함하는 엄격한 JSON 스키마를 따르도록 강제됩니다.
• 온도 억제(Temperature Suppression): 샘플링 온도(temperature)를 창의적 기본값인 1.0 대신 0.2로 고정하여, 가장 가능성 높은 토큰에 확률 질량을 집중시키고 결과의 재현성을 보장합니다.
• 시각적 사고 사슬(Visual Chain of Thought): 모델은 판정을 내리기 전, 다음의 4단계 순차적 추론 과정을 거쳐야 합니다:
  1. 가시적인 텍스트(약물명, 배치 번호, 유통기한) 및 디자인 요소 추출.
  2. 관찰된 내용을 예상 브랜드 패턴(예: 홀로그램 굴절)과 비교.
  3. 선언된 약물명과 명시된 활성 제약 성분(API) 및 용량 간의 일치 여부 교차 검증.
  4. 필수 규제 마커(예: Rx 심볼, 라이선스 형식) 검증.

진위 점수 산출

프레임워크는 세 가지 벡터의 가중 기하 평균을 사용하여 종합 진위 점수($S_{auth}$)를 계산합니다:

• 시각적 트레이드 드레스($V_m$, 가중치 0.4): 타이포그래피, 색상 충실도, 홀로그램 및 레이아웃.
• 의미론적 일관성($S_c$, 가중치 0.4): 약물명, API, 그리고 타당한 용량 간의 일치 여부.
• 규제 준수($R_c$, 가중치 0.2): 규제 마커의 존재 및 형식.

기하 평균을 사용함으로써, 한 벡터에서의 높은 점수가 다른 벡터의 치명적인 결함을 가릴 수 없도록 합니다(예: 완벽한 인쇄 품질이 잘못된 성분 함량을 상쇄할 수 없음). 점수는 세 가지 라벨로 매핑됩니다: AUTHENTICATED(진품, $\geq 0.75$), UNVERIFIED(미검증, $0.50–0.75$), SUSPICIOUS(의심, $< 0.50$).

주요 기여

1. 이중 모드 라우터 아키텍처: 결정론적 스캐닝과 개방형 대화를 격리하여 상태의 상호 오염을 방지하는 설계.
2. 제약 프롬프팅 방법론: 스키마 강제, 저온 샘플링, 단계적 추론의 조합을 통해 모델을 재학습시키지 않고도 범용 멀티모달 모델의 환각(hallucination)을 실질적으로 감소시킴.
3. 경험적 검증: 표준 멀티모달 챗봇 및 전통적인 OCR 파이프라인과의 비교 연구를 통해 정확도, 신뢰성 및 실행 가능한 출력의 향상을 입증함.

결과

시스템은 50개의 제약 의약품 패키지 이미지(진품 30개, 미세한 결함이 있는 적대적 위조품 15개, 저품질 캡처본 5개) 데이터셋을 통해 평가되었습니다.

• 정확도: MedTruth는 92%의 전체 검증 정확도를 달히 달성하였으며, 진품 30개 중 28개를, 적대적 샘플 15개 중 13개를 정확히 식별했습니다.
• 환각 감소: 표준 챗봇 베이스라인(GPT-4o)의 환각률은 **15%**였으나, MedTruth에서는 2% 미만으로 떨어졌습니다. MedTruth의 단 한 번의 실패는 의도적으로 흐릿하게 처리된 이미지에서 발생했습니다.
• 지연 시간: 평균 검증 지연 시간은 2.1초로, 추가적인 구조적 추론 단계에도 불구하고 소비자용 도구로서 사용 가능한 범위 내에 있었습니다.
• 비교: 표준 챗봇은 주로 숨겨진 의미론적 불일치가 있는 적대적 샘플에서 실패한 반면, MedTruth의 구조화된 교차 검증은 이러한 오류를 성공적으로 잡아냈습니다. Google Lens(OCR 전용)는 직접적인 판정을 제공하지 못해 해석을 사용자에게 맡겼습니다.

의의 및 주장

본 논문은 아키텍처적 제약과 구조화된 프롬프팅이 대화보다 결정론이 더 중요한 안전 필수 영역에서 범용 멀티모달 AI를 어떻게 실용적으로 만들 수 있는지를 주장합니다.

• 규모보다 신뢰성: 본 연구는 신뢰성을 높이는 것이 반드시 방대한 라벨링된 데이터셋으로 더 큰 모델을 재학습시키는 것을 의미하지 않으며, 대신 정교한 시스템 설계와 행동 제약이 상당한 개선을 가져올 수 있음을 보여줍니다.
• 실행 가능한 출력: 생성형 모델을 엄격한 JSON 출력을 가진 점수 산출 도구로 변환함으로써, 모호한 대화형 응답 대신 명확하고 실행 가능한 결정(진품/미검증/의심)을 제공합니다.
• 한계 인정: 저자들은 규제 벡터가 특정 라이선스 번호의 진위가 아닌 형식의 부합 여부를 검증한다는 점(오라클 문제, oracle problem)과 데이터셋 규모(50개 샘플)가 글로벌 패키징 다양성에 비해 작다는 점을 겸허히 인정합니다. 이들은 MedTruth를 실험실 테스트나 전문가의 평가를 대체하는 것이 아닌, 의사 결정 지원 시스템으로 포지셔닝합니다.

결론적으로, 검증 프로세스를 무상태의 포렌식 작업과 상태 유지형의 대화형 작업으로 분리함으로써, 멀티모달 AI를 반복 가능하고 신뢰할 수 있는 결과를 요구하는 고위험 환경에 배포할 수 있음을 시사합니다.