기술 요약: 판사 에이전트 포레스트 (Judge Agent Forest, JAF)

1. 문제 정의

현재의 에이전트형 AI 프레임워크는 출력을 평가하고, 가드레일을 강제하며, 반복적인 자기 개선(self-refinement)을 가능하게 하기 위해 **판사 에이전트(judge agents)**에 의존합니다. 그러나 표준 구현은 인스턴스 로컬(instance-local) 방식으로 작동합니다. 즉, 판사는 단일 질의-응답 쌍 $(Q_i, R_i)$를 고립된 상태로 평가하며, 현재 워크로드의 특정 맥락을 반영하지 못하는 정적인 인컨텍스트 예시(in-context examples)를 사용할 가능성이 높습니다.

이러한 고립은 **교차 인스턴스 의존성(cross-instance dependencies)**과 **창발적 코호트 수준 패턴(emergent cohort-level patterns)**을 포착하는 데 실패합니다. 클라우드 취약점 분류(vulnerability triage)와 같은 복잡한 도메인에서, 특정 이슈의 위험은 동일한 테넌트나 계정 내의 다른 이슈들과의 관계(예: 공유된 설정 오류, 네트워크 토폴로지 또는 반복되는 소프트웨어 역할)에 따라 결정되는 경우가 많습니다. 인스턴스 로컬 판사는 이러한 규칙성을 체계적으로 활용하거나, 유사한 자산 간의 일관성을 강제하거나, 혹은 발견된 통찰(예: 발견된 설정 오류)을 관련 티켓으로 전파할 수 없습니다. 또한, 단일 인스턴스에 대한 반복적 자기 개선이나 멀티 사고 사슬(multi-chain-of-thought, CoT) 탐색과 같은 표준적인 추론 개선 방법들은 계산 비용을 중복 발생시키며, 이미 워크로드 전반에 존재하는 추론의 다양성을 활용하지 못합니다.

2. 방법론: 판사 에이전트 포레스트 (JAF)

JAF는 판사 에이전트가 개별 사례를 고립되어 평가하는 대신, 논리적으로 연관된 질의-응답 쌍의 코호트(cohort) 전체에 대해 **결합 추론(joint inference)**을 수행하도록 하는 패러다임의 전환을 도입합니다.

핵심 메커니즘

• 코호트 수준 추론: 정적인 컨텍스트 대신, 초점 인스턴스 $(Q_i, R_i)$에 대한 판사의 프롬프트에는 동일한 코호트에서 동적으로 선택된 소수의 피어 예시(peer exemplars) $(Q_j, R_j)$가 포함됩니다.
• 지식 그래프 유도: 이러한 중첩되는 이웃들은 노드가 인스턴스이고 에지가 판사의 프롬프트 내 공존을 나타내는 동적인 코호트 수준 지식 그래프를 유도합니다. 정보와 비판은 그래프 기반 준지도 학습(semi-supervised learning)에서의 신념 전파(belief propagation) 또는 **레이블 전파(label propagation)**와 유사하게 에지를 따라 전파됩니다.
• 앙상블 동작: 각 판사 호출(또는 반복적 개선 단계) 시 서로 다른 이웃을 무작위로 샘플링함으로써, JAF는 앙상블 효과를 생성합니다. 각 인스턴스는 다양하고 국소적으로 일관된 맥락 하에서 평가되며, 이를 통해 시스템은 근본적인 LLM 아키텍처를 변경하지 않고도 불일치를 감지하고 판단을 안정화할 수 있습니다.

이웃 구축: 로컬리티 민감 해싱 (Locality-Sensitive Hashing, LSH)

대규모의 이질적인 코호트에서 관련 피어를 효율적으로 선택하기 위해, JAF는 단순한 임베딩 기반 k-최근접 이웃(kNN)을 넘어선 유연한 로컬리티 민감 해싱(LSH) 프레임워크를 채택합니다.

• 학습된 해시 술어(Learned Hash Predicates): JAF는 의미론적 임베딩, 범주형 레이블, 도메인 메타데이터 및 LLM이 정의한 술어를 통합하여 이진 해시 코드를 학습합니다.
• 정보 이론적 목적 함수: 해시 함수는 부가 정보(레이블/메타데이터)와의 상호 정보량(mutual information)을 최대화하는 동시에 비트 간의 중복성(total correlation)을 최소화하도록 최적화됩니다. 이는 코드가 정보력이 있고, 분리되어 있으며, 해석 가능하도록 보장합니다.
• 계층적 구조: 해싱 체계는 코호트의 다중 스케일 파티션을 생성합니다. 거친 버킷(coarse buckets)은 광범위한 의미적 유사성(예: 자산 유형)을 포착하고, 미세한 분할(finer splits)은 작업 특유의 뉘앙스(예: 특정 설정 오류)를 포착합니다.
• OOD 및 이상 탐지: 프레임워크에는 버킷 내의 분포 외(OOD) 패턴이나 희귀 이상 징후를 탐지하는 메커니즘이 포함되어 있으며, 이를 위해 전용 해시 비트를 할당하여 면밀히 조사되도록 합니다.
• LLM 가이드 술어: LLM은 의미론적 이진 분할(예: "외부 노출형" vs "내부 전용")을 제안하거나 OOD 탐지를 위한 참조 서브셋을 식별할 수 있으며, 이는 발산 기반 클러스터링을 통해 검증됩니다.

추론 전략과의 통합

• 반복적 자기 개선 (Iterative Self-Refinement): JAF는 자기 개선을 코호트 수준으로 확장합니다. 판사가 응답을 비판하고 개선함에 따라, 수정 사항이 지식 그래프를 통해 전파됩니다. 안정화된(고정된, "frozen") 인스턴스는 더 어려운 사례를 개선하기 위한 고품질 예시를 제공합니다.
• CoT 탐색: JAF는 추론 경로(CoT)를 일급 객체(first-class objects)로 취급합니다. CoT를 해싱함으로써, 시스템은 서로 다른 인스턴스 간에 성공적인 추론 템플릿을 공유하여 다양한 추론 경로를 탐색하는 데 드는 비용을 분담(amortize)할 수 있습니다.
• 확률적 평가: 고정된 개선 응답에 대해 여러 차례 무작위 평가를 실행함으로써, JAF는 경험적 수용 확률(acceptance probability) ($\hat{p}_i$)을 생성합니다. 이는 안정성 지표 역할을 하며, 맥락 변화에 민데 민감한 취약한 결정을 식별하여 인간의 검토를 요청하는 신호가 됩니다.
• RL 가이드 탐색 (향후 과제): 해시 구조는 강화 학습(RL)이 테스트 타임 계산량을 적응적으로 할당할 수 있도록 하는 상태 공간을 제공하며, 이를 통해 탐색이 부족하거나 역사적으로 오류가 잦았던 해시 버킷에 더 많은 자원을 투입할 수 있습니다.

3. 주요 기여

1. 결합 추론 프레임워크: 판사를 로컬 평가자에서 코호트 전체의 질의-응답 쌍을 통한 결합 추론을 가능하게 하는 홀리스틱 학습자로 격상시키는 JAF 프레임워크를 제안합니다.
2. LSH 기반 이웃 선택: 순수 임베딩 기하학의 한계를 극복하고, 정보 이론적이며 해석 가능하고 관계를 인식하는 이진 코드를 학습하여 다양한 예시를 선택하는 새로운 LSH 알고리즘을 개발합니다.
3. 기술의 통합: JAF가 어떻게 반복적 자기 개선, 멀티 CoT 탐색, 앙상블 학습을 하나의 코호트 인식 메커니즘으로 통합하여, 인컨텍스트 러닝을 통해 신념 전파 및 랜덤 포레스트 원리를 효과적으로 구현하는지 입증합니다.
4. 확률적 안정성 지표: 무작위 이웃 샘플링을 통해 결정 확신도를 추정하는 방법을 도입하여, 불안정하거나 모호한 사례를 식별하기 위한 견고한 신호를 제공합니다.

4. 실험 결과

저자들은 JAF를 까다로운 클라우드 설정 오류 분류(cloud misconfiguration triage) 작업, 즉 소프트웨어 역할, 네트워크 노출 및 IAM 정책의 합성을 요구하는 도메인에서 검증합니다.

• 설정: 315개의 설정 오류를 가진 자산 코호트가 기본 에이전트(Llama3.3-Nemotron-Super-49B-v1.5)에 의해 처리되었습니다. 베이스라인은 고립된 반복적 자기 개선을 사용했고, JAF는 단순한 목적 기반 이웃 샘플링을 사용하는 코호트 인식 개선을 사용했습니다(초기 연구에서는 임베딩이나 LSH를 사용하지 않음).
• 지표: 평가에는 다양한 피어 맥락 하에서의 최종 답변의 경험적 정확도 확률 ($\hat{p}_i$)을 측정하기 위한 확률적 판사가 사용되었습니다.
• 결과:
  • 높은 정확도 및 안정성: 단 5회의 개선 반복만으로, JAF는 베이스라인에 비해 정확도 확률의 분포를 높은 값 쪽으로 유의미하게 이동시켰습니다(평균 $\hat{p}_i$ 증가, 분산 감소).
  • 빠른 수렴: JAF는 베이스라인이 10회 반복 후에도 도달하지 못한 고품질의 결과를 5회 반복 만에 달성했습니다.
  • 강건성: JAF 기반 분석은 컨텍스트에서 보이는 특정 피어에 덜 민감했으며, 이는 더 건전한 기저 추론을 나타냅니다.
  • 어려운 사례 식별: 두 방법 모두 낮은 신뢰도의 사례들을 식별했으나, JAF는 이러한 취약한 인스턴스의 수를 일관되게 줄여나가며 자연스럽게 인간의 검토가 가장 필요한 부분을 강조했습니다.

5. 의의 및 주장

본 논문은 JAF가 에이전트 시스템이 정보를 처리하고 개선하는 방식에 있어 근본적인 변화를 나타낸다고 주장합니다. 판사 층에서 결합 추론을 배치함으로써, JAF는 에이전트의 모듈성을 유지하면서도 입력 간의 정보 흐름을 촉진합니다.

• 확장성: JAF 프레임워크는 인스턴스 로컬 접근 방식이 의존성을 포착하지 못하는 대규모의 이질적인 코호트(수백 또는 수천 개의 롱 컨텍스트 케이스)를 처리할 수 있도록 설계되었습니다.
• 일반적 적용 가능성: 클라우드 보안을 동기로 삼았으나, 저자들은 JAF가 대규모 코호트의 모델 결정을 일관되고 맥락에 맞게 개선해야 하는 모든 도메인에 폭넓게 적용될 수 있다고 주장합니다.
• 겸허한 주장: 저자들은 정교한 LSH나 임베딩이 없는 "단순한(naive)" 형태의 JAF 구현조차 상당한 개선을 보여준다는 점을 강조합니다. 이들은 LSH 메커니즘과 RL 통합을 성능을 더욱 최적화하기 위한 향후 과제로 위치시키며, 이를 프레임워크의 핵심 이점을 위한 필수 전제 조건으로 간주하지 않습니다. 본 논문은 JAF가 지도 학습 미세 조정(SFT)을 대체한다고 주장하는 것이 아니라, SFT를 위한 더 높은 품질의 의사 레이블(pseudo-labels)을 생성하는 전처리 도구 역할을 할 수 있음을 시사합니다.

요약하자면, JAF는 신념 전파와 앙상블 학습 원리를 연결하여, 에이전트 시스템이 개별 인스턴스가 아닌 코호트의 집단적 행동으로부터 학습할 수 있도록 하는 견고하고 맥락 민감한 평가 계층을 구축합니다.