기술 요약: 에이전트 RAG 에서 발견 가능한 지속적 수정을 위한 반복적 너겟 최적화

1. 문제 정의

복잡한 B2B(기업 간 거래) 환경에서 에이전트 검색 증강 생성 (RAG) 시스템은 종종 자유 형식의 사용자 피드백을 받습니다. 많은 피드백 신호가 모호하거나 (예: "도움이 되지 않음") 주관적 (예: 어조) 이지만, 중요한 하위 집합은 실행 가능한 사실적 수정으로 구성됩니다. 이러한 수정은 향후 사용자에게 제공되어야 하는 특정 제품 동작, 역할 제한, 명칭 명확화 또는 정책 세부 사항과 같은 구체적인 문제를 다룹니다.

핵심적인 과제는 이러한 수정을 **사실적 너겟 (factual nuggets)**으로 변환하는 것입니다. 이는 다음과 같은 특성을 가진 짧고 독립적인 지식베이스 항목입니다:

1. 보수적: 새로운 오류를 도입하지 않고 수정된 사실을 인코딩합니다.
2. 자립적: 원래 대화에 의존하지 않고 재사용할 수 있도록 충분한 맥락을 포함합니다.
3. 발견 가능: 원래 피드백과 어휘적 중복이 거의 없는 향후 쿼리와 일치합니다.
4. 정확: 관련 없는 트래픽에 대한 검색으로 이어지는 과도한 광범위함을 피합니다.

피드백을 단순히 요약하거나 원래 상호작용의 어구를 계승하는 표준 접근 방식은 종종 실패합니다. 이는 향후 사용자가 다른 역할에서 질문하거나, 다른 문제를 언급하거나, 고유한 어휘를 사용하기 때문입니다. 또한, 검증의 어려움과 다단계 절차를 방해할 위험으로 인해 기존 고객 문서를 직접 편집하는 것은 종종 불가능합니다.

2. 방법론: 반복적 너겟 최적화 (INO)

이 논문은 **반복적 너겟 최적화 (INO)**를 제안합니다. 이는 인덱싱 시 최적화 방법으로, 너겟 구축을 측정 가능한 문제로 간주하고 생산용 에이전트 RAG 시스템 자체를 테스트 하네스로 활용하여 해결합니다.

INO 루프

1. 추출: LLM 기반 필터가 사용자 피드백 스트림에서 실행 가능한 사실적 수정을 식별합니다.
2. 초기화: 후보 너겟이 생성됩니다 (일반적으로 수정 내용과 원래 쿼리의 의역이 포함됨).
3. 프로빙: 후보 너겟이 고객 코퍼스의 고정된 복사본에 삽입됩니다. 그런 다음 시스템은 원래 쿼리 ($q_0$) 와 평가를 위해 특별히 생성된 3~5 개의 홀드아웃 의역으로 구성된 "프로브 세트"를 실행합니다.
4. 반성 및 수정: 너겟이 어떤 프로브 쿼리에 대해서도 검색되거나 인용되지 않으면, LLM 리플렉터가 실패 추적을 분석합니다. 이는 다음을 검사합니다:
   • 실패한 쿼리
   • 검색된 경쟁 문서
   • 생성된 답변
   • 현재 너겟 표현
     리플렉터는 새로운 주장을 추가하지 않고 사실적 수정을 엄격히 보존하면서 너겟의 제목, 본문 어구 및 검색 앵커를 수정하여 발견 가능성을 향상시킵니다.
5. 반복: 이 과정은 너겟이 성공적으로 검색되고 인용될 때까지 최대 $T=3$회 반복됩니다.

주요 차이점

많은 작업에 걸쳐 변경 사항을 분산시키기 위해 시스템 지시를 조정하는 프롬프트 최적화 방법과 달리, INO 는 하나의 특정 사실적 수정과 관련된 향후 쿼리에 걸쳐 작업을 분산시키며 검색 가능한 아티팩트 자체를 최적화합니다. 이는 생산 에이전트 구성을 고정하여 최적화를 로컬화하고, 감사 가능하며, 되돌릴 수 있게 만듭니다.

3. 실험 설정

저자들은 여러 회사의 두 가지 다른 B2B 에이전트에서 실제 생산 데이터를 사용하여 INO 를 평가했습니다:

1. 채팅 에이전트: 고객별 지식베이스 (KB) 를 통해 자유 형식 지원 질문에 답변합니다.
2. 지원 티켓 에이전트: 지원 티켓 전사를 읽고 응답을 제안합니다.

평가 지표:

• 검색: 너겟이 재랭커를 통과하여 생성기에 도달하는지 여부.
• 인용: 최종 답변의 출처에 너겟이 인용되는지 여부.
• 답변 준수: 인간 주석가에게 보정된 LLM 판정자가 생성된 답변이 원래 수정 사항을 다루는지, 너겟의 사실을 준수하는지, 회귀를 피하는지, 그리고 근거를 유지하는지 확인합니다.

기준선 (Baselines):
이 연구는 INO 를 네 가지 다른 전략과 비교했습니다:

• 표준: 너겟을 있는 그대로 인덱싱합니다.
• 트리거 - 쿼리 앵커: 원래 쿼리의 의역을 추가합니다.
• 합성 앵커: LLM 이 생성한 향후 사용자 쿼리를 추가합니다.
• 결합: 트리거와 합성 앵커 모두를 추가합니다.

4. 주요 결과

INO 는 두 에이전트와 모든 평가 유형에서 일관되게 모든 기준선을 능가했습니다.

• 발견 가능성: 채팅 에이전트의 홀드아웃 쿼리에서 INO 는 표준 너겟 기준선 (52.3% 대 77.3%) 대비 검색률을 25~29 퍼센트 포인트 향상시켰습니다.
• 사용: 인용률도 크게 증가하여 INO 는 **68.1%**에 도달한 반면 기준선은 **41.3%**였습니다.
• 일반화: 성능 격차는 "실제" 역사적 쿼리 (합성 LLM 의역보다 더 어려움) 에서 더 벌어졌으며, 이는 INO 가 원래 쿼리를 단순히 암기하는 것이 아니라 보이지 않는 표현에 잘 일반화됨을 나타냅니다.
• 지원 티켓: 입력이 노이즈가 많은 전사인 지원 티켓 에이전트의 경우 성적이 더욱 두드러졌으며, INO 는 기준선 대비 검색을 43.1 포인트 (35.1% 대 78.2%), 인용을 40.7 포인트 향상시켰습니다.
• 답변 품질: 답변 수준 평가에서 INO 는 요청된 수정 사항을 다룬 답변의 비율을 **52.2% 에서 73.4%**로 증가시켰습니다. 또한 주요 회귀 오류와 환각된 근거 라벨을 줄였습니다.
• 정확도: 1,400 개의 무작위 쿼리에 대한 부정적 통제 테스트는 낮은 위양성률 (1.4% 검색) 을 보였으며, 수동 검사는 이러한 것이 노이즈가 아닌 의미적으로 동등한 의역임을 확인했습니다.

5. 중요성 및 주장

이 논문은 INO 가 생산 RAG 시스템에서 지속적 수정을 위한 실용적이고 확장 가능한 솔루션을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 운영 타당성: 최적화는 오프라인으로 수행되며, 너겟당 약 $0.31의 비용과 2 분 미만의 시간이 소요되며, 인덱싱 후 최종 사용자에게는 추가 지연 시간이 전혀 없습니다.
• 생산 배포: 이 시스템은 현재 운영 중이며, 고객 배포를 통해 매주 수백 개의 검색된 너겟을 생성하고 있습니다.
• 로컬 최적화: 에이전트의 전역 구성이 아닌 아티팩트를 최적화함으로써, 이 방법은 수정 사항이 원자적 (atomic) 이며 관련 없는 작업의 성능을 실수로 저하시키지 않도록 보장합니다.

저자들은 현재 결과가 영어에만 국한되며 사용된 특정 하이브리드 에이전트 RAG 아키텍처에 의존한다는 점을 지적하며 한계에 대해 겸손함을 유지합니다. 그들은 다른 검색 아키텍처 (순수 밀집 또는 순수 희소) 는 제안된 최적화에 다르게 반응할 수 있음을 인정합니다.