기술 요약: 실제 환경에서의 보안 및 개인정보 보호 프롬프트

문제 정의

대규모 언어 모델(LLM)이 일상적인 정보원으로 점점 더 많이 활용되고 있음에도 불구하고, 디지털 보안 및 개인정보 보호(S&P) 분야에서의 역할에 대한 연구는 여전히 미흡한 상태이다. S&P 도메인에서의 LLM 응답 품질에 관한 기존 연구들은 실제 사용자 질의보다는 전문가가 작성한 오개념이나 FAQ에 의존해 왔다. 결과적으로, 사용자가 LLM에 구체적으로 어떤 S&P 질문을 던지는지, 모델이 이에 얼마나 잘 답변하는지, 그리고 반복되는 질의에 대해 응답이 일관적인지 여부가 불분명하다. 부정확하거나 모순된 S&P 조언은 계정 탈취나 디지털 정체성 노출과 같은 실질적인 피해로 이어질 수 있으며, 상충하는 지침은 사용자의 보호 행동을 저해할 수 있다.

방법론

본 연구는 320만 개의 실제 사용자 대화 데이터셋인 WildChat을 활용하여 대표성 있는 S&P 상호작 작용 코퍼스를 구축하였다.

1. 데이터 큐레이션 및 분류:

   • 독성, 길이 및 비 S&P 콘텐츠를 필터링한 후 남은 170만 개의 고유 영어 프롬프트 중에서, 저자들은 세 가지 LLM 다수결 투표 분류기(Qwen 3, Calme 3.2, GPT 5.2)를 사용하여 14,727개의 S&P 프롬프트를 식별하였다.
   • 이 프롬프트들은 기존 문헌에서 채택한 분류 체계에 따라 9개의 S&P 주제(예: 계정 및 인증, 데이터 프라이버시, 사회 공학)로 분류되었다.

2. 주제 분석 (RQ1):

   • 층화 추출된 450개의 프롬프트(카테고리당 50개)를 두 명의 연구자가 주제 분석을 수행하였다. 이 과정을 통해 사용자 의도를 특징짓는 6개의 주요 테마와 22개의 하위 테마가 생성되었다.

3. 응답 품질 및 일관성 평가 (RQ2 & RQ3):

   • 저자들은 코딩이나 창의적 글쓰기 과업을 제외한 270개의 "조언 구하기(advice-seeking)" 프롬프트(권장 사항, 지침 또는 특정 정보 요청)를 큐레이션하였다.
   • 평가 대상 모델: 세 가지 상용 모델(GPT 5.5, Gemini 3.1, Claude 4.7)과 두 가지 오픈 웨이트 모델(Qwen 3, Llama 4)을 포함한 총 5개의 LLM을 테스트하였다.
   • 절차: 각 프롬프트에 대해 모델당 10회씩 질의하여 모델당 2,700개의 응답을 생성하였다.
   • 품질 지표: 응답은 LLM-as-judge 체크리스트 방식을 사용하여 점수를 매겼다. 각 프롬프트에 대해 정답 구성 요소를 명시하는 이진(binary) 체크리스트를 생성하였다. 자기 선호 편향(self-preference bias)을 완화하기 위해 세 개의 스코어러 모델을 통해 계산된 점수(1~10점)를 평균하였다.
   • 일관성 지표: 일관성은 스코어러 모델이 추출한 증거 인용구에 대한 **양방향 함의(bidirectional entailment)**를 사용하여 측정하였다. 10회의 실행 간 응답 쌍 사이의 함의 점수가 0.5를 초과하는 경우 해당 프롬프트는 일관된 것으로 간주하였다.

핵심 기여

• 최초의 경험적 특성화: 본 연구는 합성 데이터나 전문가 큐레이션 데이터셋을 넘어, LLM을 향한 실제 세계의 S&P 프롬프트를 분석한 최초의 연구이다.
• 사용자 의도 분류 체계: 사용자가 LLM을 방어적 에이전트, 모델 내부 탐색 도구, 혹은 적대적 요청 도구로 취급하는 등 독특한 상호작용 패턴을 식별하였다.
• 이중 평가 프레임워크: 본 논문은 응답 품질과 일관성이 별개의 신뢰도 차원임을 입증하며, S&P 맥락에서는 별도의 평가 지표가 필요함을 보여준다.

결과

1. 사용자 프롬프트의 주제 분석

450개 프롬프트 분석 결과 6가지 테마가 나타났다:

• 일반 지식 (33.3%): 가장 빈번한 테마로, 광범위한 정보 질의 및 시험 유형의 질문을 포함한다.
• 사용자 측 탐색 (20.9%): 계정 차단에 대한 항소 서신 작성 등 사고 대응에 집중되어 있다.
• 방어적 행동 (11.8%): 보호적 평가(예: "이 앱이 안전한가요?")나 역사기(scam-baiting) 전략(예: 사기꾼 유인)을 구하는 사용자들이다.
• LLM에 대한 문의 (10.2%): 모델 자체의 시스템, 학습 데이터 및 프라이버시 관행을 조사하는 사용자들이다(예: "우리 대화가 기록되나요?").
• 유해 및 공격적 요청 (6.9%): 개인을 겨냥한 도싱(doxxing), 시스템 악용, 플랫폼 우회 등 공격을 돕기 위한 요청이다.
• S&P 과업 생성: 보안 관련 콘텐츠 생성을 요청하는 경우이다.

2. 응답 품질

상용 모델이 오픈 웨이트 모델보다 성능이 현저히 뛰어났다:

• GPT 5.5는 가장 높은 평균 점수(8.67/10)를 기록했으며, 98%의 프롬프트가 "좋음" 이상의 등급(점수 ≥ 7)을 받았다.
• Gemini 3.1 (8.52)과 Claude 4.7 (8.47)이 그 뒤를 바짝 쫓았다.
• Qwen 3는 7.90점을 기록했고, Llama 4는 6.71점으로 가장 낮았으며, 응답의 47%만이 "좋음" 기준을 충족했다.
• 질적 발견: 고품질 응답은 사실적으로 정확하고 윤리적으로 적절했다. 저품질 응답은 종종 사실 관계 오류(예: 기능 환각)를 보이거나, 경고 없이 유해한 지침을 제공함으로써 윤리적 기준을 위반했다.

3. 응답 일관성

일관성은 품질과 반드시 상관관계가 있는 것은 아니었다:

• Llama 4는 평균 품질은 가장 낮았음에도 불구하고 가장 일관된 응답을 생성했다(97.4%의 프롬프트가 모순 없는 실행 결과를 보임).
• GPT 5.5 역시 매우 높은 일관성(97.0%)을 보였다.
• Qwen 3는 일관성이 가장 낮았다(89.6%).
• 중요 관찰: Gemini 3.1과 같은 고품질 모델조차 동일한 프롬프트에 대해 실행 시마다 상충하는 조언(예: 파일 시스템 권한 설정에 대한 모순된 설정값)을 제공하는 경우가 있었으며, 이는 사용자를 혼란스럽게 할 위험이 있다.

의의 및 주장

본 논문은 LLM을 통한 보안 및 개인정보 보호 상호작용을 이해하는 데 있어 핵심적인 공백을 메운다고 주장한다. 주요 의의는 다음과 같다:

1. 이중 용도 역학(Dual-Use Dynamics)의 폭로: 본 연구는 LLM이 단순한 정보원이 아니라 방어적 및 공격적 S&P 과업을 위한 상호작용형 에이전트로 기능함을 강조한다. 이는 모델이 악의적인 요청은 거부하면서도 정당한 방어적 질의를 과도하게 거부하지 않아야 하는 "양면적 탐지 문제"를 야기한다.
2. 위협 표면의 확장: 사용자들이 API 키, 학습 데이터 등 내부 정보를 얻기 위해 LLM을 능동적으로 조사함에 따라, 모델 자체가 위협 표면의 일부로 이동하고 있다.
3. 신뢰도의 차원: 저자들은 응답 품질과 일관성이 상호 보완적인 차원이라고 주장한다. S&P 맥락에서 고품질이지만 모순된 조언을 제공하는 모델은 저품질 모델만큼이나 해로울 수 있는데, 이는 일관성 결여가 사용자의 신뢰와 보호 행동을 무너뜨리기 때문이다.
4. 평가의 필수성: 향후 S&P 도메인에서의 연구와 모델 배포는 신뢰성을 완전히 규명하기 위해 품질과 일관성을 모두 평가하고 보고해야 한다.

저자들은 WildChat 데이터셋의 기술 숙련자 편향 가능성, 영어 프롬프트 중심의 한계, 단일 턴 프롬프트 분석에 치중했다는 점 등을 한계점으로 인정하였다.