기술 요약: REALISTA

문제 정의

대형 언어 모델 (LLM) 은 선의의 사용자 질의에 응답할 때도 환각 (hallucinations) 을 나타냅니다. 이러한 실패를 유발하는 메커니즘을 이해하려면 다음 두 가지 중요한 제약 조건을 만족하는 현실적인 적대적 공격이 필요합니다:

1. 의미적 동등성: 적대적 프롬프트는 선의의 프롬프트의 원래 의미적 의도를 보존해야 합니다.
2. 의미적 일관성: 적대적 프롬프트는 유창하고 인간과 유사해야 합니다.

기존 방법들은 이러한 제약 조건들을 동시에 만족하지 못합니다. 이산적 프롬프트 기반 공격(예: SECA) 은 의미적 현실성을 보존하지만 희소하고 이산적인 검색 공간에 제한되어 공격 다양성이 제한됩니다. 연속 잠재 공간 공격은 더 풍부한 공간을 탐색하지만 종종 원본과 무의미하거나 의미적으로 구별되는 프롬프트로 디코딩되어 동등성 제약 조건을 위반합니다. 핵심적인 과제는 의미적 현실성을 엄격하게 강제하면서 잠재 공간에서 광범위한 탐색을 가능하게 하는 것입니다.

방법론: REALISTA

저자들은 REALISTA(Realistic Latent Adversarial Attacks) 를 제안합니다. 이는 LLM 잠재 공간에서 제약 최적화 문제로 환각 유발을 공식화하는 프레임워크입니다. 이 방법은 다음과 같은 구성 요소를 통해 이산적 접근법과 연속적 접근법 간의 격차를 해소합니다:

1. 입력 의존적 편집 사전

임의의 잠재 벡터를 최적화하는 대신, REALISTA 는 각 입력 프롬프트 $x_0$에 특정한 해석 가능한 편집 방향의 사전을 구성합니다.

• 개념 선택: 개념 최적화 절차 (WordNet 과 LLM 기반 평가자 활용) 를 사용하여 입력과 관련된 다양한 개념 키워드 집합을 선택합니다.
• 잠재 방향: 선택된 각 개념에 대해 의미적으로 동등한 재표현 $x^{(i)}_{SE}$를 생성합니다. 인코더 $\phi$는 이를 잠재 표현으로 매핑하며, 편집 방향은 $z^{(i)} = \phi(x^{(i)}_{SE}) - \phi(x_0)$로 정의됩니다.
• 사전: 이러한 방향들의 집합이 사전 $D$를 형성하며, 이는 의미 보존 변환의 부분 공간을 span 합니다.

2. 심플렉스 상의 연속 최적화

공격은 최적의 편집 강도 벡터 $\delta$를 찾는 것으로 공식화되며, 여기서 적대적 잠재 표현 $z$는 다음과 같습니다:
$$z = z_0 + D\delta$$
여기서 $z_0 = \phi(x_0)$입니다. 최적화 문제는 다음과 같습니다:
$$\min_{\delta} \mathcal{L}_{hall}(f_T(x), y^*) \quad \text{s.t.} \quad \delta \in \Delta_\varepsilon$$

• 목적 함수: 환각 손실 (예: 잘못된 답변의 음의 로그 확률 또는 판정자의 환각 점수) 을 최소화합니다.
• 제약 조건: $\delta$는 스케일링된 심플렉스 ($\delta \succeq 0, \|\delta\|_1 \le \varepsilon$) 로 제한됩니다. 이는 희소성과 비음수성을 강제하여 교란이 의미 보존 편집의 대규모 임의적 이동이 아닌 온화한 볼록 조합이 되도록 보장합니다.

3. 디코더 및 의미적 안전장치

• 프롬프트 재구성: 인코더와 동일한 LLM 으로 구현된 근사 역 연산자 (디코더) $\psi$가 교란된 잠재 $z$를 프롬프트 공간 $x = \psi(z)$로 매핑합니다.
• 최적화 알고리즘: 저자들은 비볼록 최적화를 해결하기 위해 **프로젝티드 랑베인 동역학 (PLD)**을 사용합니다. 이는 다음을 포함합니다:
  • Gumbel-Softmax 재매개변수화: 이산 디코딩 과정을 통해 기울기 흐름을 가능하게 합니다.
  • 확률적 탐색: 조각별 평평한 최적화 지형에서 국소 최소값을 벗어나기 위해 가우시안 노이즈를 주입합니다.
  • 의미적 동등성 안전장치: 최적화 중 후보 프롬프트 $x$가 의미적 동등성 검사 (지시받은 LLM 에 의해 수행됨) 를 통과하지 못하면 기울기 신호가 폐기되어 최적화기가 비동등 영역으로 이동하는 것을 방지합니다.

주요 기여

1. 입력 의존적 편집 사전: 원래 프롬프트에 조건부로 구성된 컴팩트하고 다양하며 유효한 잠재 편집 방향 집합을 구축하는 방법으로, 의미를 보존하면서 연속적 수정을 가능하게 합니다.
2. 심플렉스 제약 최적화: 스케일링된 심플렉스 상의 연속 최적화 문제로 현실적인 환각 유발을 공식화하여 탐색 유연성과 의미적 제약 사이의 균형을 맞춥니다.
3. 현실적 공격 프레임워크: 편집 사전, 심플렉스 제약, 의미적 안전장치를 REALISTA 알고리즘에 통합하여 공격 효과성과 의미적 현실성 간의 균형을 성공적으로 탐색합니다.

실험 결과

이 논문은 16 개 MMLU 과목에 걸쳐 오픈 소스 LLM(Llama-3, Qwen-2.5) 과 상용 추론 모델 (GPT-5 변형) 에서 REALISTA 를 평가했습니다.

• 공격 성공률 (ASR): REALISTA 는 최신 (SOTA) 현실적 공격 (예: SECA) 에 비해 우수하거나 동등한 ASR 을 달성합니다. 예를 들어, Llama-3-8B 에서 REALISTA 는 ASR@30 을 **93.60%**로 달성하여 SECA(82.97%) 와 LARGO(57.92%) 를 능가합니다.
• 의미적 오류: 중요한 점은 REALISTA 가 낮은 의미적 동등성 오류 (SEE) 와 의미적 일관성 오류 (SCE) 를 유지한다는 것입니다. 이는 SECA 와 유사하며, 종종 SEE 가 100% 에 근접하는 LARGO 및 ICD 와 같은 연속적 베이스라인보다 훨씬 우수합니다.
• 추론 모델: REALISTA 는 자유 형식 응답 설정에서 상용 추론 모델 (GPT-5-Nano, GPT-5-Mini) 로부터 성공적으로 환각을 유발합니다. 이는 고정된 출력 형식이나 대상 모델의 로지트에 의존하는 기존 현실적 공격 (SECA, LARGO) 이 실패하는 시나리오입니다.
• 개념 분석: 활성화된 개념에 대한 분석은 성공적인 공격이 사실적 내용을 변경하기보다는 구조적 및 프레임 변경(예: 극성 반전, 논리적 재구성, 지시적 프레임) 을 주로 악용한다는 것을 보여줍니다.

중요성 및 주장

이 논문은 REALISTA 가 블랙박스이고 추론 중심인 배포 시나리오에서도 현실적인 환각 공격이 가능함을 보여준다고 주장합니다. 이산적 및 연속적 공격 패러다임 간의 격차를 해소함으로써, 이 프레임워크는 LLM 에 대한 레드팀링을 위한 보다 체계적인 도구를 제공합니다.

저자들은 그들의 작업이 어휘적으로 다르지만 의미적으로 동등한 프롬프트가 환각으로 이어지는 실패 모드를 특성화하는 데 도움이 된다고 강조합니다. 그들은 이 방법이 환각 유발의 효과성을 향상시켜 (오용 장벽을 낮출 가능성) 하지만, 현실적인 교란 하에서 모델이 어떻게 실패하는지 밝혀냄으로써 더 강력한 방어 전략을 개발하는 데 주된 유용성이 있다고 지적합니다. 이 작업은 이산적 검색이 불충분한 현실적 설정에서 LLM 신뢰성을 평가하기 위해 잠재 공간 공격의 중요성을 강조합니다.