기술 요약: PQR – 에이전트 실패를 유발하는 다양하고 현실적인 사용자 쿼리를 생성하기 위한 프레임워크

문제 제기

실제 세계 도메인 (예: 전자상거래, 의료, 금융) 에서 대규모 언어 모델 (LLM) 기반 에이전트를 평가하는 것은 여전히 중요한 과제입니다. 현재 평가 관행은 테스트 시나리오를 수동으로 설계하기 위해 인력에 크게 의존하고 있으며, 이 과정은 비용이 많이 들고 확장하기 어려우며 반복적인 개발 주기에 적합하지 않습니다.

기존 자동화 접근 방식은 일반적으로 두 가지 범주로 나뉘며, 둘 다 한계가 있습니다:

1. 적대적 공격 생성: PAIR 및 TAP 와 같은 방법들은 안전성 실패 (재일브레이크) 를 유도하기 위해 적대적 쿼리를 생성하는 데 중점을 둡니다. 그러나 이러한 방법들은 종종 실제 사용자 의도를 반영하지 않는 "불합리한" 또는 비자연스러운 쿼리를 생성합니다. 또한, 사전 정의된 전략에 대한 의존성은 예상치 못한 실패 사례를 발견할 수 있는 능력을 제한하며, 새로운 동적으로 학습된 전략이 필요한 경우를 포착하지 못합니다.
2. 프롬프트 개선: 이전 연구들 (예: GEPA, ACE) 은 작업 성공률을 높이거나 현실적인 쿼리를 생성하기 위해 프롬프트를 최적화합니다. 그러나 이러한 방법들은 주로 특정 지시 하에서 효과성을 최적화하도록 설계되었으며, 쿼리 다양성을 명시적으로 고려하지 않습니다. 실패 발견에서 동일한 유형의 실패를 반복적으로 유발하는 것은 제한된 진단 가치를 제공하며 에이전트의 약점의 폭을 포착하지 못합니다.

핵심 문제는 다양성 (다양한 실패 모드를 포괄) 과 현실성 (진정한 사용자 행동을 모방) 을 모두 갖춘 실패 유발 쿼리를 동시에 생성할 수 있는 체계적인 프레임워크가 부족하다는 점입니다.

방법론: PQR 프레임워크

저자들은 자연어로 정의된 목표 (예: 유용성, 안전성) 하에서 에이전트 실패를 유발하는 다양하고 현실적인 사용자 쿼리를 생성하도록 설계된 PQR (프롬프트 - 쿼리 - 개선) 프레임워크를 제안합니다. PQR 은 단독으로 사용할 때의 약점을 완화하기 위해 두 개의 상호 보완적인 모듈을 결합한 반복 루프로 작동합니다:

1. 쿼리 개선 모듈

이 모듈은 국소적 재작성을 통해 다양한 쿼리 변형을 탐색하는 데 중점을 둡니다. 이전 적대적 작업의 전략을 채택하여 다음과 같이 분류됩니다:

• 교란: 문자, 단어, 문장 수준에서 작동 (예: 오타 추가, 동의어 교체, 구문 변경).
• 역할극: 페르소나, 어조, 시나리오를 통해 변형을 도입.

이 모듈은 빔 서치 (beam search) 를 사용한 이중 선택 메커니즘을 사용합니다:

• 쿼리 선택: LLM-as-a-Judge 의 보상 점수를 기반으로 유망한 쿼리를 유지합니다.
• 전략 선택: 이전 반복에서 보상 점수를 낮추는 (즉, 더 많은 실패를 유발하는) 데 가장 효과적이었던 교란/역할극 전략을 유지합니다.
  이 과정은 컴퓨팅 예산이 소진될 때까지 지속되어 다양한 후보 쿼리 세트를 보장합니다.

2. 프롬프트 개선 모듈

쿼리 개선은 다양성을 보장하지만, 기존 교란을 넘어선 전략이 필요한 실패를 놓칠 수 있으며 현실성 강제 조치가 명시적으로 부족할 수 있습니다. 프롬프트 개선 모듈은 피드백을 집계하여 새로운 목표 위반 전략과 현실성 정책을 도출함으로써 이를 해결합니다. 이는 세 단계 루프를 따릅니다:

• 선택: 빔 서치를 사용하여 목표 위반 쿼리를 가장 많이 생성하는 프롬프트를 유지합니다.
• 반성: 두 가지 유형의 피드백을 생성합니다:
  • 현실성 관련: 쿼리가 비현실적으로 보이는 이유를 진단하고 개선을 제안합니다.
  • 목표 관련: 세 가지 신호를 포함합니다: (1) 목표 위반 피드백 (실패를 유발하는 특성 식별), (2) 목표 준수 피드백 (에이전트의 성공을 돕는 특성 식별, 회피 대상), (3) 기준별 피드백 (덜 탐구된 기준을 대상으로 함).
• 확장: 세 가지 병렬 방향을 사용하여 새로운 후보 프롬프트를 생성합니다:
  • 착취: 이미 실패를 유발한 전략을 증폭합니다.
  • 탐색: 목표 준수 피드백을 사용하여 새로운 실패 모드로 나아가는 대조적 전략을 도입합니다.
  • 검토: 가장 덜 자주 위반된 기준을 대상으로 하여 덜 탐구된 목표를 조사합니다.

주요 기여

1. 새로운 프레임워크: PQR 은 에이전트 실패 발견을 위해 쿼리 개선 (다양성용) 과 프롬프트 개선 (전략 발견 및 현실성용) 을 반복 루프로 결합한 최초의 프레임워크입니다.
2. 현실성과 다양성의 균형: 실패율을 위해 현실성을 희생하거나 (적대적 공격), 현실성을 위해 다양성을 희생하는 (프롬프트 최적화) 이전 방법들과 달리, PQR 은 둘을 명시적으로 균형 잡습니다.
3. 동적 전략 학습: 쿼리 개선의 피드백을 사용하여 프롬프트 생성 정책을 업데이트함으로써, PQR 은 사전 정의된 템플릿에만 의존하지 않고 새로운 실패 전략을 발견할 수 있습니다.

실험 결과

이 프레임워크는 Qwen3-8b 를 기반으로 구축된 전자상거래 QA 에이전트로부터의 비유용한 응답을 탐지하는 데 평가되었으며, 추가적인 안전성 목표 연구가 수행되었습니다. 비교는 GPT-5-mini 와 Gemma3-27b 를 사용하여 프롬프트 개선 기준 (GEPA, ACE) 과 쿼리 개선 기준 (TAP, PAIR) 에 대해 이루어졌습니다.

• 실패 발견률 (비유용성률 - UHR): PQR 은 GPT-5-mini 를 사용하여 가장 높은 UHR (56.32%) 을 달성하여 기준 대비 23% – 78% 더 많은 비유용한 응답을 발견했습니다.
• 현실성: PQR 이 생성한 쿼리는 자동화 방법 중 가장 높은 현실성 점수를 달성하여 인간이 생성한 쿼리와 밀접하게 일치했습니다 (인간 점수: 4.51 대 PQR: 3.66). 이는 현실성이 낮은 쿼리를 생성한 쿼리 개선 기준 (TAP, PAIR) 을 크게 능가했습니다.
• 다양성: PQR 은 임베딩 코사인 유사도, 고유 n-그램, MTLD 로 측정된 높은 다양성 점수를 유지하여 반복적인 출력을 경향한 프롬프트 개선 기준을 능가했습니다.
• 비용 효율성: PQR 은 모든 방법 중 가장 낮은 비용 (토큰 사용량) 으로 이러한 결과를 달성하여 실패 발견에서 더 높은 효율성을 입증했습니다.
• 인간 평가: 도메인 전문가를 대상으로 한 연구에서 PQR 쿼리는 가장 높은 현실성 평가 (2.50/3.0) 를 받았으며 최상위 관련성 점수와 일치하여, 이 프레임워크가 주제 관련성을 희생하지 않고 현실성을 향상시킨다는 것을 확인했습니다.

중요성과 주장

이 논문은 PQR 이 LLM 에이전트를 평가하는 더 비용 효율적이고 체계적인 접근 방식을 제공한다고 주장합니다. 다양하고 현실적인 쿼리를 생성함으로써 PQR 은 이전 방법들보다 에이전트 약점의 더 넓은 스펙트럼을 드러냅니다. 저자들은 기존 방법들이 종종 임의적이거나 비자연스러운 실패 유발 쿼리를 생성하는 반면, PQR 의 현실적인 실패 시나리오 (예: 쇼핑객의 모호한 다중 속성 질문) 를 표면화하는 능력이 실제 배포 환경에서 에이전트의 견고성을 개선하기 위한 더 높은 진단 가치를 제공한다고 강조합니다.

저자들은 겸손하게도 이 프레임워크가 현재 전자상거래 내 유용성과 안전성 목표에 대해 주로 테스트되었다고 언급합니다. PQR 은 에이전트 - 프레임워크 중립적이지만, 더 풍부한 기능 (예: 복잡한 도구 사용, 다단계 시스템) 을 가진 에이전트와 다른 도메인으로의 확장성은 더 광범위한 평가를 필요로 한다고 인정합니다.