기술 요약: GRANDGUARD

문제 정의

노년층이 동반자 및 지원을 위해 대규모 언어 모델 (LLM) 채팅봇을 점점 더 많이 수용함에 따라, 치명적인 안전 격차가 대두되었습니다. 기존 안전 벤치마크 및 중재 시스템은 주로 "보편적 해악"(예: 혐오 표현, 적대적 공격) 을 중심으로 설계되어 노년층 특이적 맥락적 위험을 고려하지 못합니다. 이는 이동성 제한, 인지 기능 저하, 사회적 고립, 디지털 문해력 감소와 같은 연령 관련 취약성으로 인해 일반 인구나 젊은 층에게는 무해한 프롬프트나 지시가 노년층에게는 위험한 시나리오로 변모하는 경우를 의미합니다.

예를 들어, "어둠 속에서 혼자 천장 조명 수리하기"는 많은 사람에게 표준적인 DIY 작업이지만, 이동성이 제한된 노년층에게는 심각한 낙상 위험을 초래합니다. 마찬가지로, "가장 가까운 가장 높은 탑"에 대한 질문은 무해한 관광 질문이지만, 절망감을 표현하는 문맥과 결합될 경우 자살 위험으로 변모합니다. 현재 시스템은 연령 특이적 요인이 어떻게 요청을 위험으로 전환시키는지 인식할 수 있는 맥락적 민감성이 부족하기 때문에 이러한 미묘한 차이를 놓치는 경우가 많습니다.

방법론

저자들은 이러한 특정 위험을 평가하고 완화하기 위한 분류 체계, 벤치마크, 그리고 안전 장치를 포함한 포괄적인 프레임워크인 GRANDGUARD를 제안합니다.

1. 분류 체계 구축

분류 체계는 다중 출처 실증 조사를 통해 개발되었습니다:

• 데이터 소스: 25 건의 AI 사고 보고서 분석, r/eldercare 커뮤니티의 1,000 개 게시물 주석, 그리고 노년층, 간병인, 임상 전문가와의 워크숍 및 인터뷰를 포함한 6 건의 이전 이해관계자 연구의 종합.
• 차별화: 노년층 특이적 위험을 일반 해악과 구분하기 위해 비교 주석 프로토콜이 사용되었습니다. 취약성, 인지 기능 저하와 같은 연령 관련 요인으로 인해 노년층에 불균형적으로 영향을 미치고, 젊은 성인에게는 동일한 상호작용이 실질적으로 위험이 낮은 경우에만 위험이 유지됩니다.
• 구조: 결과적으로 도출된 분류 체계는 5 개 영역에 걸쳐 50 개의 세분화된 위험 유형을 포함하는 3 단계 계층 구조입니다:
  • 정신 건강: 간병 소홀, 자해, 그리고 AI 에 대한 비건강적 의존.
  • 재정: 직접 조작, 사기, 그리고 사기 취약성.
  • 의료: 위험한 조언 및 신체 활동 위험.
  • 유해성: 조작적 통제, 성 착취, 연령 차별, 그리고 정치적 착취.
  • 개인정보: 민감한 데이터 노출 및 무단 기기 접근.

2. 벤치마크 구축

저자들은 10,404 개의 레이블이 지정된 데이터 포인트(6,498 개의 프롬프트 및 3,906 개의 응답) 로 구성된 벤치마크를 구축했습니다.

• 데이터 생성: 3 단계 위험 유형당 10 개씩 총 500 개의 인간 작성 시드 프롬프트가 LLM 을 사용하여 10,000 개의 후보 프롬프트로 확장되었습니다. 이러한 프롬프트는 노골적인 악의 없이 미묘한 노년층 특이적 위험을 나타내는지 확인하기 위해 LLM 판정자에 의해 필터링되었습니다.
• 심각도 가중치 부여: 60 명의 참가자가 참여한 온라인 연구를 통해 7 점 리커트 척도로 위험 유형의 심각도를 평가했습니다. 벤치마크 분포는 이러한 심각도 가중치를 반영하도록 큐레이션되어 자해와 같은 고심각도 위험이 적절히 대표되도록 했습니다.
• 평가 기준:
  • 프롬프트 평가: 고감도 규칙; 노년층이 식별 가능하고 요청이 안전 장치 없이 위험 유형과 일치하는 경우 안전하지 않음으로 표시됨.
  • 응답 평가: 위험 표시(연령 관련 취약성을 명시적으로 인정) 와 해악 회피(해로운 허용을 거부하고 안전한 대안을 제시) 를 요구하는 이중 기준.

3. 안전 장치 개발

식별된 안전 실패를 해결하기 위해 두 가지 보완적 솔루션이 개발되었습니다:

• 파인튜닝된 탐지: GRANDGUARD 데이터와 일반 안전 데이터셋의 혼합물을 사용하여 LoRA 로 Llama-Guard-3 모델을 파인튜닝했습니다. 이 모델은 중앙 집중식 배포에서 높은 재현율 탐지를 위해 설계되었습니다.
• 정책 강화 중재: gpt-oss-safeguard-20b 모델에 "노년층 민감 정책"이 구현되었습니다. 이는 재학습 없이 인지 기능 저하 사용자의 재정적 결정을 표시하는 것과 같은 구조화되고 해석 가능한 규칙을 가능하게 하여, 맞춤형 간병 맥락에 적합합니다.
• GRANDGUARD 에이전트: 위험을 탐지하고 분석하며 하위 LLM 에 도달하기 전에 사용자 프롬프트 앞에 안전 추론 지시를 추가하는 정책 강화 안전 장치를 사용하는 경량 에이전트 파이프라인입니다.

주요 결과

1. 베이스라인 모델 성능

GPT-5.1, Claude-Sonnet-4.5, Gemini-2.5 를 포함한 10 개의 주요 LLM 을 벤치마크에서 평가한 결과 광범위한 안전 실패가 드러났습니다:

• 높은 실패율: 여러 주요 모델이 50% 이상의 사례에서 노년층 특이적 위험을 적절히 처리하지 못했습니다. 예를 들어, GPT-5.1 은 56.2% 의 안전성을 달성한 반면, GPT-4.1-Mini 와 같은 소형 모델은 22.6% 까지 낮았습니다.
• 지식 - 행동 격차: 자기 진단 실험은 모델이 위험을 식별하는 능력과 그 지식을 행동으로 옮기는 능력 사이에 상당한 격차가 있음을 드러냈습니다. 모델들은 명시적으로 요청했을 때 위험 프롬프트의 최대 95% 까지 식별할 수 있었지만 (프롬프트 인식), 실제 응답 안전성 (응답 안전성) 은 종종 훨씬 낮았습니다 (예: Gemini-2.5-Flash 의 경우 +50.2 점의 격차). 이는 모델들이 잠재적 위험 인식을 보유하고 있지만 이를 안전한 생성 행동으로 전환하지 못함을 시사합니다.

2. 안전 장치 효과성

제안된 안전 장치는 안전 지표를 크게 향상시켰습니다:

• 파인튜닝된 Llama-Guard-3: 프롬프트 분류에서 **96.2%**의 정확도와 응답 분류에서 **93.2%**의 정확도를 달성하여 베이스 모델 (63.3% 정확도) 대비 상당한 개선을 보였습니다.
• 정책 강화 gpt-oss-safeguard-20b: 노년층 특이적 정책으로 보강되었을 때 프롬프트 탐지 정확도를 **90.9%**로, 응답 정확도를 **90.3%**로 향상시켰습니다.
• GRANDGUARD 에이전트: 컨텍스트 증강 계층으로 사용될 때, 에이전트는 테스트된 모든 모델의 응답 안전성을 향상시켰습니다. 주목할 만한 개선 사항으로는 DeepSeek-V3.2(39.6% 에서 91.8% 로) 와 Llama-4-Maverick(28.2% 에서 82.4% 로) 이 있었습니다.

중요성과 주장

이 논문은 일반 안전을 넘어 노년 인구를 구체적으로 지원하는 AI 시스템의 기초를 마련했다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 최초의 포괄적 프레임워크: 기존 도구들이 연령 관련 취약성을 간과하는 격차를 해소하기 위해 노년층 특이적 맥락적 위험을 대상으로 하는 최초의 분류 체계와 벤치마크를 도입했습니다.
2. 실패에 대한 실증적 증거: 강력한 일반 능력을 보유하고 있음에도 불구하고 현재 최첨단 LLM 들이 노년층 특이적 맥락에서 체계적으로 실패하며, 종종 "지식 - 행동 격차"로 인해 실패한다는 엄격한 증거를 제공합니다.
3. 실행 가능한 완화: 모델을 처음부터 재학습하는 것뿐만 아니라, 기존 모델 능력을 활용하여 맥락적 위험을 인식하고 완화하는 타겟팅된 파인튜닝과 정책 강화 중재를 통해 안전성을 효과적으로 개선할 수 있음을 입증합니다.

저자들은 그들의 연구가 연구 및 안전 장치 개발을 위한 것으로 의도되었으며, 추가 검증 없이 이러한 벤치마크를 실제 의료 또는 재정 의사결정에 직접 사용하는 것을 경계한다고 강조합니다. 또한 안전과 사용자 자율성 사이의 균형을 맞추고, 노년층 사용자의 과도한 제한을 피하기 위해 "안전한 대안"을 제시하는 것이지 일괄적인 거부를 지향하지 않아야 함을 강조합니다.