기술 요약: LiSA (보수적 정책 유도 를 통한 평생 안전 적응)

1. 문제 정의

대형 언어 모델 (LLM) 이 채팅 인터페이스에서 개인 데이터에 접근하고, 특권 도구를 호출하며, 다단계 워크플로우를 실행할 수 있는 자율 에이전트로 전환함에 따라, 안전 실패의 비용은 사소한 생성 오류에서 데이터 유출 및 무단 실행과 같은 구체적인 피해로 급증합니다. 기존 안전 가드레일 (예: 분류기, 규칙 기반 유효성 검사기, 프롬프트 전략) 은 해악에 대한 정적이며 배포 전 정의에 의존합니다. 그러나 안전과 프라이버시 경계는 종종 맥락에 따라 달라지며, 지역 조직의 규범, 변화하는 사용자 기대, 사전에 열거하기 어려운 작업별 위험 허용 수준에 의해 형성됩니다.

이는 실용적인 격차를 만들어냅니다: 가드레일은 특정 운영 환경에 적응해야 하지만, 배포 피드백은 일반적으로 희소하고 노이즈가 많은 사용자가 보고한 실패 사례로 제한됩니다. 이러한 regime 에서 기본 모델을 반복적으로 파인튜닝하는 것은 종종 비현실적입니다. 본 논문은 배포 시 가드레일 적응 문제를 공식화합니다: 반복적인 모델 재학습 없이 희소하고 잠재적으로 노이즈가 있는 사용자 수정만을 사용하여 고정된 기본 가드레일을 시간이 지남에 따라 개선하는 것입니다.

2. 방법론: LiSA 프레임워크

저자들은 **LiSA(평생 안전 적응)**를 제안합니다. 이는 온라인 - 오프라인 루프로 조직된 보수적 정책 유도 프레임워크입니다. LiSA 는 기본 모델을 파인튜닝하는 대신 구조화된 정책 메모리와 증거 인식 재사용을 통해 고정된 가드레일을 개선합니다. 이 프레임워크는 세 가지 핵심 메커니즘으로 구성됩니다:

A. 구조화된 정책 메모리 (광범위한 추상화)

LiSA 는 고립된 사례를 저장하는 대신 희소한 실패 보고를 재사용 가능한 정책 추상화로 변환합니다.

• 광범위한 정책 항목: 실패 보고서에서 유도된 자연어 정책 진술 (예: "일반 공개 정보 공유는 적절함") 과 지원 및 모순 수를 포함한 메타데이터가 포함됩니다.
• 목표: 희소한 피드백을 일반화하여 단일 수정이 관련 맥락에서 미래 의사결정을 안내할 수 있도록 합니다.

B. 충돌 인식 로컬 정책

광범위한 추상화는 과도하게 일반화되어 서로 다른 레이블을 가진 인접한 맥락을 단일 규칙으로 축소할 수 있습니다.

• 메커니즘: LiSA 는 의미적으로 유사한 사례가 상충되는 사용자 보고를 갖는 "혼합 레이블 영역"을 식별합니다 (예: 한 맥락에서는 정보 공유가 적절하지만 다른 맥락에서는 부적절함).
• 로컬 규칙: 이러한 영역에서 LiSA 는 추론 모델을 위한 세밀한 경계 해결을 제공하는 정제 단서로 작용하는 더 좁고 레이블별 정책 항목 (로컬 규칙) 을 유도합니다. 광범위한 정책과 달리, 이들은 신뢰도 게이팅의 대상이 되지 않으며 즉시 표출되어 추론 모델에 세밀한 경계 해결을 제공합니다.

C. 신뢰도 게이팅이 적용된 온라인 가드레일링

약하게 지지되는 추상화가 (특히 노이즈가 많은 피드백 하에서) 추론에 너무 일찍 영향을 미치는 것을 방지하기 위해, LiSA 는 보수적 재사용 전략을 사용합니다.

• 사후 하한: 각 광범위한 정책 항목에 대해 LiSA 는 관찰된 지원 ($s_m$) 과 모순 ($c_m$) 수를 기반으로 잠재 정확도 변수인 전이 신뢰도 ($\theta_m$) 를 베타 사후 분포로 모델링합니다: $\theta_m | \text{데이터} \sim \text{Beta}(1 + s_m, 1 + c_m)$.
• 게이팅 규칙: 정의된 신뢰도 (사후 분포의 하위 $\delta$-분위수) 가 레이블별 임계값 ($\tau_{refuse}$ 또는 $\tau_{allow}$) 을 초과할 때만 광범위한 항목이 표출됩니다.
• 근거: 이는 광범위한 정책이 단일 보고서에서 파생된 취약한 규칙으로 인한 과도한 일반화를 방지하기 전에 의사결정에 영향을 미치기 위해 충분한 증거를 축적해야 함을 보장합니다.

D. 온라인 - 오프라인 루프

• 온라인 단계: 시스템은 관련 광범위 및 로컬 정책을 검색하고, 신뢰도 게이팅을 통해 광범위한 항목을 필터링하며, 생존한 맥락으로 기본 가드레일을 프롬프트합니다. 적용 가능한 정책이 없으면 기본 가드레일로 되돌아갑니다.
• 오프라인 단계: 주기적으로 축적된 사용자 보고를 사용하여 메모리를 재구성합니다. 여기에는 새로운 광범위 정책 유도, 의미적으로 중복되는 항목 병합, 혼합 레이블 영역에 대한 로컬 규칙 재생성, 그리고 신뢰도 통계 업데이트가 포함됩니다.

3. 주요 기여

1. 문제 공식화: 본 논문은 희소하고 노이즈가 있는 감독 하의 평생 가드레일 적응 설정을 정의하며, 표준 감독 업데이트 또는 밀집 파인튜닝과 구별합니다.
2. LiSA 프레임워크: 구조화된 정책 메모리 시스템으로 다음을 특징으로 합니다:
   • 희소 재사용을 위한 광범위 정책 추상화.
   • 혼합 레이블 영역을 처리하기 위한 충돌 인식 로컬 정제.
   • 광범위 정책의 표출을 제어하기 위한 베타 사후 하한 기반 보수적 신뢰도 게이팅 재사용.
3. 실증적 검증: PrivacyLens+, ConFaide+, AgentHarm 세 가지 벤치마크에 대한 실증으로 LiSA 가 다음을 보여줍니다:
   • 희소 피드백 하에서 강력한 메모리 기반 베이스라인 (예: ReasoningBank, Synapse, AGrail) 보다 성능이 우수함.
   • 노이즈가 많은 사용자 보고서 (최대 20% 레이블 전환율) 에 대해 강건하게 유지되며, 신뢰도 게이팅이 주요 안정화 요인으로 확인됨.
   • 로컬 정제를 통해 경계 민감성 의사결정을 개선함.
   • 단순히 기본 모델 크기를 확장하는 것보다 더 나은 지연 시간 - 성능 프런티어를 달성함.

4. 실험 결과

• 성능: PrivacyLens+, ConFaide+, AgentHarm 전반에 걸쳐 LiSA 는 사례 검색 (Synapse) 이나 광범위 정책 추상화만 사용하는 (ReasoningBank) 고정 기본 가드레일 및 베이스라인보다 일관되게 더 높은 매크로 F1 점수를 달성했습니다.
• 애블레이션 연구:
  • 로컬 규칙을 제거하면 성능 저하가 가장 커서 경계 모호성을 해결하는 데 필수적임이 확인되었습니다.
  • 신뢰도 게이팅을 제거하면 평균 성능에는较小的 영향이 있었지만 분산이 크게 증가하고 노이즈 하에서 강건성이 감소했습니다.
• 노이즈 강건성: 20% 레이블 노이즈 하에서 LiSA 는 높은 성능 (0.917 F1) 을 유지한 반면, ReasoningBank 와 같은 베이스라인은 크게 하락했습니다 (0.857 F1). 베타 사후 게이팅은 약하게 지지되는 정책이 추론을 지배하는 것을 효과적으로 방지했습니다.
• 지연 시간 vs 성능: LiSA 가 경량 모델 (Gemini-3.1-flash-lite) 에 연결되었을 때, F1-지연 시간 트레이드오프 측면에서 더 크고 적응되지 않은 백본 (예: Flash, Pro) 보다 성능이 우수했습니다. 메모리 새로고침의 오프라인 비용은 많은 의사결정에 걸쳐 분산되므로, 구조화된 메모리는 희소 피드백 적응을 위해 모델 확장보다 더 효율적입니다.

5. 중요성과 주장

본 논문은 AI 에이전트의 효과적인 적응이 파인튜닝이나 더 큰 모델을 필요로 하는 것이 아니라 배포 경험의 보정된 재사용을 필요로 한다고 주장합니다. LiSA 는 다음과 같은 방식으로 예측 불가능한 현실 세계의 엣지 위험인 "긴 꼬리"에 대비하여 AI 에이전트를 안전하게 보호하는 실용적인 경로를 제공합니다:

• 반복적인 재학습 없이 운영 환경에서 가드레일이 학습할 수 있도록 함.
• 보수적이고 증거 기반의 신중함을 통해 안정성 유지.
• 백본 모델 용량을 단순히 확장하는 것보다 더 효율적인 안전 개선 경로 제공.

저자들은 LiSA 를 정적 가드레일의 취약성과 무제한 적응의 위험을 모두 피하는 "실용적인 중간 지대"로 위치시킵니다. 이는 가드레일이 지역 규범에 반응하여 진화하면서도 증거 보정 메커니즘을 통해 안전을 유지하도록 보장합니다.