기술 요약: MAM-AI

1. 문제 정의

사하라 이남 아프리카, 특히 잔지바르에서는 모성 및 신생아 사망률이 여전히 매우 높으며, 조산사들이 국제 표준 교육을 받지 못한 간호사들에 의해 돌봄을 제공하는 경우가 많습니다. 안전한 케어를 가로막는 주요 장벽은 현장에서 활용할 수 있는 권위 있고 근거 중심적인 지침의 부족입니다. 기존 가이드라인은 분량이 방대하며, 인터넷 연결이 불안정하고 데이터 비용이 높은 환경에서 온라인 검색에 의존하는 것은 신뢰하기 어렵습니다. 과제는 완전히 오프라인으로 작동하며, 보급형 안드로이드 하드웨어에서 실행되고, 환자 데이터 프라이버시를 보장하며(쿼리가 기기를 벗어나지 않음), 엄격한 안전 표준을 유지하는 의료 질의응답 어시스턴트를 제공하는 것입니다.

2. 시스템 설계 및 방법론

MAM-AI는 기기 내에서 완전히 실행되도록 설계된 검색 증강 생성(RAG) 시스템입니다. 파이프라인은 다음 네 단계로 구성됩니다:

1. 임베딩(Embedding): 사용자의 임상 질문을 EmbeddingGemma-300M(768차원, 양자화됨)을 사용하여 임베딩합니다.
2. 검색(Retrieval): 임베딩은 87개의 큐레이션된 임상 가이드라인 문서(WHO, NICE, ICM, 국가 표준 등)에서 추출된 63,650개의 구절이 담긴 로컬 SQLite 벡터 스토어와 매칭됩니다. 상위 3개의 구절이 선택됩니다.
3. 증강(Augmentation): 검색된 구절들이 쿼리와 함께 프롬프트에 주입됩니다.
4. 생성(Generation): 온디바이스 Gemma 4 E4B 모델(3.66 GB, int4 양자화)이 출처 구절에 대한 인라인 인용을 포함하여 스트리밍된 답변을 생성합니다.

주요 제약 조건 및 설정:

• 오프라인 작동: 초기 1회 설정(모델 및 코퍼스 다운로드) 이후에는 인터넷 연결이 필요하지 않습니다.
• 안전 우선: 본 시스템은 "철저히 평가된 연구 프로토타입"으로 명시적으로 정의되며, 실제 현장에 배치된 제품이 아닙니다.
• 프롬프트 엔지니어링: 모델의 회피(답변 거부) 문제를 해결하기 위해 재설계된 시스템 프롬프트(G1)가 개발되었습니다. 이는 모델이 추천(referral)을 제안하기 전에 반드시 1차 관리법을 제공하도록 강제합니다.
• 평가 프레임워크: 저자들은 엔드 투 엔드 시스템, 독립된 리트리버(retriever), 오라클 컨텍스트(oracle context) 하에서의 독립된 제너레이터(generator), 그리고 지연 시간을 평가하는 계층적 하향식 방법론을 채택합니다. 평가는 검증된 LLM 판사(gpt-oss-120b)를 사용하여 의사가 작성한 루브릭(rubric)에 따라 수행됩니다.

3. 주요 기여

• 배포 가능한 온디바이스 RAG: 오픈 소스 모델(Gemma)과 큐레이션된 지식 베이스를 활용하여 보급형 안드로이드 하드웨어에서 완전히 오프라인으로 실행되는 의료 어시스턴트를 구현했습니다.
• 계층적 평가: 실제 배포된 구성에 적용된 포괄적인 평가 스위트(엔드 투 엔드, 리트리버, 제너레이터, 지연 시간)를 통해, "어려운 문제"가 검색에서 생성으로 이동했음을 밝혀냈습니다.
• 안전 중심 모델 선택: 안전이 중요한 저자원 환경에서는 원시적인 능력보다 **충실도(faithfulness)**가 더 중요한 선택 기준임을 입증했습니다. 저자들은 더 유능하지만 오류가 잦은 모델(Gemma 3n) 대신, 덜 "유능"하지만 더 충실한 모델(Gemma 4)을 선택했습니다.
• 오픈 소스 공개: 시스템, 지식 베이스 파이프라인, 벤치마크(mamabench, mamaretrieval), 그리고 평가 하네스를 오픈 소스로 공개합니다.

4. 주요 결과 및 발견

A. 프롬프트는 주요 레버이다

기본 Gemma 4 모델은 약 33%의 질문에 대해 회피(의사를 만나보라는 답변)를 보였습니다. 재설계된 G1 프롬프트는 회피율을 약 3%로 낮추고 핵심 사실 회상률(recall)을 두 배로 높였으며, 안전하지 않은 답변의 증가는 미미했습니다. 이것이 관찰된 단일 최대의 엔드 투 엔드 이득이었습니다.

B. 온디바이스 검색은 해결되었다

EmbeddingGemma-300M 리트리버는 클라우드 시스템과 경쟁할 만한 성능을 보이며, 테스트된 7개의 리트리버 중 3위를 차지했고 최고의 클라우드 임베더들과 대등한 성능을 보였습니다.

• 발견: 검색 성능을 개선하는 것(예: Gecko를 EmbeddingGemma로 교체하거나 리랭커 추가)은 엔드 투 엔드 답변 품질을 향상시키지 못합니다. 실제로 작은 제너레이터에 검색된 컨텍스트를 추가하는 것은 종종 순이익이 없거나 약간 부정적입니다.
• 이유: 작은 제너레이터가 검색된 컨텍스트를 효과적으로 활용하지 못하기 때문입니다. 즉, 파이프라인의 "단절"은 정보의 검색이 아니라, 정보를 근거로 답변을 생성하는 제너레이터의 능력 단계에서 발생합니다.

C. 제너레이터 능력 vs. 충실도

• 능력: 모델 크기가 커질수록(약 30B까지) 품질이 급격히 상승하며, 30B 서버 모델은 4B 온디바이스 모델보다 훨씬 뛰어난 성능을 보입니다. 그러나 4B 모델은 온디바이스 배포의 한계치입니다.
• 안전 트레이드오프: 동일한 크기의 두 후보(Gemma 4 vs. Gemma 3n) 사이에서, Gemma 3n은 더 유능(높은 회상률)했지만 훨씬 더 위험한 오류(확신에 찬, 구체적이지만 틀린 용량 및 금기 사항 조언)를 생성했습니다. Gemma 4는 출처에 대해 약 두 배 더 충실했으며 실질적으로 위험한 답변을 거의 생성하지 않았습니다.
• 결정: 시스템은 더 유능하지만 안전하지 않은 Gemma 3n을 배포하는 대신, 충실한 모델인 Gemma 4를 배포하고 프롬프트 엔지니어링을 통해 유용성을 회복하는 전략을 취합니다.

D. 코퍼스 품질이 결정적이다

작은 모델은 검색된 컨텍스트에 크게 의존하므로 코퍼스의 품질이 매우 중요합니다.

• 코퍼스에 구체적이고 실행 가능한 구절이 포함되어 있으면 답변은 구체적이고 안전합니다.
• 만약 쿼리 구절로 인해 정의나 연습 문제만을 검색하게 되면, 답변은 모호해집니다.
• 커버리지: 코퍼스는 관대한 임계값에서 약 96.5%의 쿼리를 커버하지만, 약 10.6%의 쿼리는 관련 청크(chunk)가 전혀 없는 상태이며, 이는 검색 전용 솔루션의 하드 셀링(hard ceiling)을 나타냅니다.

E. 지연 시간 및 하드웨어

• 성FORMANCE: 플래그십 디바이스(Snapdragon 8 Elite)에서 시스템은 CPU에서 중앙값 약 43초, GPU(옵션 선택 시)에서 약 19초 만에 답변을 반환합니다.
• 제약 사항: 결합 제약 요소는 속도가 아니라 **메모리(RAM)**입니다. 시스템은 4B 모델을 위해 약 6GB의 RAM을 필요로 합니다.
• 정밀도 버그: GPU 백엔드에서 컨텍스트가 약 5,000 토큰을 넘어가면 결정론적 FP16 어텐션 붕괴(attention collapse)가 발생하므로, GPU 경로에서는 4,096 토큰 제한이 필요합니다.

5. 의의 및 주장

본 논문은 MAM-AI가 보급형 하드웨어에서 완전히 오프라인인 출처 인용 의료 어시스턴트가 가능하다는 것을 보여준다고 주장합니다. 주요 의의는 어려운 문제를 재정의한 데 있습니다:

1. 검색이 병목이 아니다: 온디바이스 임베딩은 관련 구절을 찾는 데 충분합니다.
2. 근거 제시(Grounding)가 병목이다: 작은 제너레이터가 검색된 구절을 효과적으로 사용하는 능력이 제한 요소입니다.
3. 능력보다 충실도: 의료 안전 맥락에서는 환각을 일으키는 더 유능한 모델을 선택하는 것보다, 출처에 대한 충실도가 높은 모델을 선택하는 것이 더 우월합니다.

저자들은 MAM-AI가 연구 프로토타입임을 강조합니다. 이들은 실제 간호사들을 대상으로 한 현장 테스트를 수행하지 않았으며, 모든 안전/품질 지표는 LLM 판사와 벤치마크에서 도출되었음을 명시합니다. 실제 배포를 위한 경로에는 제너레이터의 근거 생성 능력(파인튜닝), 코퍼스 확장, 쿼리 재작성, 그리고 스와힐리어 지원에 대한 추가 작업이 필요합니다.