기술 요약: REDACT – 절차적 기술 보호를 위한 에이전트 능력 추적 데이터의 레드액션(Redacting)

1. 문제 동기 및 정의

도구 사용 에이전트가 연구용 프로토타입에서 생명공학, 금융, 공학 등의 실제 배포 시스템으로 전환됨에 따라, 이들은 워크플로우, 코드 템플릿, 도메인 휴리스틱을 포함한 구조화된 패키지인 독점적 "기술(skills)"에 점점 더 의존하게 됩니다. 투명성과 책임성을 보장하기 위해, 이러한 에이전트들은 종종 실행 추적(reasoning, action, observation의 궤적)을 공개합니다. 그러나 이는 근본적인 긴장 관계를 형성합니다. 즉, 추적 데이터는 감사를 지원하지만, 동시에 그 밑바탕에 깔린 절차적 기술을 노출하기도 합니다.

기술 학습 및 진화에 관한 최근 연구들은 에이전트의 경험이 재사용 가능한 기술로 응축될 수 있음을 보여주었으며, 이는 다운스트림 작업 성능을 크게 향arly 시킵니다. 이는 추적 데이터 공개를 '절차적 자산 보호'의 문제로 변모시킵니다. 공개된 추적 데이터에만 접근할 수 있는 다운스트림 당사자는 모델 가중치나 비공개 기술 파일에 접근하지 않고도, 공개된 자료로부터 독점적인 공식, 임계값 설정, 도구 호출 시퀀스, 검증 루틴 등을 복구할 수 있습니다.

저자들은 이 위험을 **블랙박스 추적 노출(Black-Box Trace Disclosure)**로 정식화합니다. 이 설정에서 다운스트림 재사용 방법은 오직 공개된 산출물($z = \phi(x, \tau)$)만을 관찰하며, 비공개 기술 파일, 모델 가중치, 은닉 상태(hidden states) 또는 서버 프롬프트에는 접근할 수 없습니다. 핵심적인 위험은 최종 답변의 복제가 아니라, 반복되는 배포 과정에서 적용 가능한 '재사용 가능한 보호된 절차'의 복구입니다.

2. 방법론: REDACT 프레임워크

이를 해결하기 위해 저자들은 두 가지 상호 보완적인 계층으로 작동하는 보호된 추적 공개 프레임워크인 REDACT(Redacting Agent Capability Traces)를 제안합니다.

2.1 핵심 정보 기반 재작성 (Key-Information-Guided Rewriting)

이 계층은 검증에 필수적인 증거는 보존하면서 보호된 절차적 정보를 국소화하고 추상화합니다. 이 과정은 기술 소유자가 공개 전 보호된 기술 패키지($s$)에 접근할 수 있다고 가정합니다.

1. 핵로 아이템 국소화 (Key-Item Localization): LLM 기반 추출기($g_\eta$)가 작업 지침과 기술 패키지로부터 작업 수준의 보호된 항목($K_{prot}$)을 식별합니다. 여기에는 공식, 상수, 임계값, 특화된 도구 선택, 검증 루틴 등이 포함됩니다.
2. 인간 검토 (Human Review): 식별된 항목들을 중복 제거하고 정형화(예: 유사한 구절 병합)하는 경량 단계입니다.
3. 추적 재작성 (Trace Rewriting): LLM 기반 재작성기($\rho_\theta$)는 보호된 핵심 항목을 드러내는 중간 턴(intermediate turns)을 작업 수준의 설명으로 추상화하여 보호된 추적($z_{RA}$)을 생성합니다. 이때 다음 사항을 엄격히 보존합니다:
   • 최종 출력값.
   • 도구 사용 증거 (이름, 실행 순서).
   • 검증 필수 필드 (스키마 키, 필수 컬럼).
   • 감사를 위해 필요한 실행 순서.

결과물은 '답변 전용' 공개 방식보다는 더 유익하지만, 원본 궤적보다는 재사용 가능한 절차로서의 가치가 낮은 추적 데이터입니다.

2.2 행동 워터마킹 (Behavioral Watermarking)

작업 의미론(semantics)에 영향을 주지 않으면서 출처 추적을 가능하게 하기 위해, 프레임워크는 선택된 추적에 행동 워터마크를 주입합니다.

• 훅 패밀리 (Hook Families): 삽입 및 사후 탐지가 가능한 기능적으로 중립적인 행동(hooks) 클래스를 정의합니다.
  • 독립형 훅 (Standalone Hooks): 고정된 위치에 삽द्य (예: 시작/종료 시의 "의례적 표식(Ritual Marker)", 환경 탐색을 위한 "환경 체크(Env Check)").
  • 문맥적 훅 (Contextual Hooks): 도구 결과("교차 확인(Cross Check)") 또는 에러 피드백("에러 앵커링(Error Anchoring)")과 같은 특정 조건 후에만 삽입됩니다.
• 주입 방식 (Injection Scheme): 추적 코퍼스 $C$와 비율 $r$에 대해, 시스템은 적격한 추적을 선택하여 무해한 액션-관찰 패턴과 활성화 문구($\kappa_h$)를 함께 주입합니다.
• 탐지 (Detection): 탐지 시점에 기술 소유자는 의심되는 학생 모델에 활성화 문구를 쿼리하고, 생성된 궤적에 탐지기($W_{detect}$)를 적용하여 해당 행동 패턴이 재현되었는지 여부를 판단합니다.

3. 벤치마크: CAPTRACEBENCH

이 문제를 대규모로 평가하기 위해 저자들은 CAPTRACEBENCH를 구축했습니다. 이는 절차적 기술 보호 평가를 위한 최초의 벤치마크입니다.

• 범위: 7개 도메인(생명 과학, 화학, 지구 및 기후, 공학, 금융 및 경제, 미디어 및 웹, 소프트웨어 및 보안)에 걸친 75개의 특화된 장기 horizon 작업.
• 기술 (Skills): 다양한 재사용 시나리오를 다루는 1나 54개의 큐레이션된 기술.
• 설계: 작업은 다단계 도구 사용을 요구하며, 인간이 작성한 지침, 실행 가능한 환경, 자동 검증기를 포함합니다. 벤치마크는 절차적 복잡성에 따라 Easy, Medium, Hard 난이도로 계층화되어 있습니다.
• 평가 프로토콜: "교사(teacher)" 에이전트가 궤적을 생성합니다. 공개 정책이 공적 산출물을 공개합니다. "학생(student)" 에이전트는 공개된 산출물만을 사용하여 동일한 작업을 해결하려고 시도합니다. 성공 여부는 학생 에이전트가 자동 검증기를 통과하는지 여부로 측정되며, 이는 보호된 절차적 지식이 성공적으로 복구되었는지를 나타냅니다.

4. 실험 결과

저자들은 REDACT를 네 가지 다운스트림 재사용 방법(단일 에이전트 기술 추출, 멀티 에이전트 기술 진화, 에이전트 워크플로우 검색 재사용, 궤적 파인튜닝)에 대해 평가했습니다.

4.1 원본 추적의 취약성

원본 실행 추적은 취약한 공격 표면임이 밝혀졌습니다. 다양한 모델과 재사용 방법 전반에서, 원본 추적은 다운스트림 에이전트가 상당한 절차적 가치를 복구할 수 있게 했습니다:

• 정규화된 기술 전이 (NST): 원본 추적은 **44.7–67.1%**의 NST를 기록했습니다. 이는 다운스트림 에이전트가 비공개 파일에 대한 오라클 접근 권한이 제공될 때의 기술적 이점을 상당 부분 복구했음을 의미합니다.
• 기술 복구: 원본 추적에서 추출된 기술은 오라클 기술의 평균 단계 성공률(SSR)인 76.5%에 근접한 73.5%를 달성하며 격차를 거의 좁혔습니다.

4.2 REDACT의 효과

REDACT는 다운스트림 방법의 보호된 기술 재사용 능력을 유의미하게 감소시켰습니다:

• 기술 억제 (Skill Suppression): 재작성 후, 기술 추출, 진화 및 검색의 평균 SSR은 각각 **67.5%, 66.3%, 65.5%**로 떨어졌습니다. 결정적으로, 이 값들은 **No-Skill 베이스라인(68.0%)**과 같거나 그보다 낮았습니다.
• NST 감소: 정규화된 기술 전이는 원본(44.7–67.1%)에서 보호된 경우 **최대 -5.9%**로 떨어졌으며, 이는 보호된 추적이 기술이 전혀 없는 상태보다 더 나은 절차적 이점을 제공하지 못함을 나타냅니다.
• 정보 누출: 복구된 보호 정보(RPI)는 모든 채널에서 37–48% 감소했습니다.
• 어려운 작업 (Hard Tasks): 보호는 어려운 작업에서 가장 중요했습니다. 원본 추적은 베이스라인 대비 6.5–10.5%의 SSR 이득을 제공했으나, REDACT는 이를 최대 4.8%(또는 일부 방법에서 베이스라인 이하)로 압축했습니다.

4.3 출처 탐지 (Provenance Detection)

행동 워터마크는 강력한 재사용 증거를 제공했습니다:

• 진양성 (True Detection, TD): 독립형 훅(예: "Env Check")은 학생 모델에서 **93.6–100.0%**의 진양성률을 달성했습니다.
• 오경보 (False Alarm, FA): 오경보율은 최대 **1.9%**로 낮게 유지되었습니다.
• 문맥적 훅 (Contextual Hooks): 탐지는 더 어려웠지만(TD 16.4–32.2%), 오경보를 전혀 발생시키지 않았습니다. 이는 학생 모델이 특정 실행 문맥을 보존할 때만 해당 패턴이 재현됨을 시사합니다.

4.4 감사 무결성 (Audit Integrity)

REDACT는 감사를 위한 추적의 유용성을 보존했습니다:

• 증거 보존: 최종 답변, 도구 이름, 검증 경로 및 스키마 필드가 원본 수준의 **91.0–96.6%**로 유지되었습니다.
• 운영 안정성: 도구 호출 횟수와 추적 길이는 원본 추적의 90–110% 범위 내에 있었습니다.
• 인간 평가: 보호된 추적은 자연스러움(7.14/10)과 감사 사용성(6.48/10)에서 높은 점수를 받았으며, 높은 평가자 간 일치도를 보였습니다.

5. 의의 및 주장

본 논문은 공개된 에이전트 추적을 보안 인터페이스로 규정합니다. 주요 의의는 **선택적 레드액션(selective redaction)**이 투명성에 필요한 감사 증거를 제거하지 않으면서도 절차적 능력 누출을 효과적으로 줄일 수 있음을 입증한 데 있습니다.

주요 주장은 다음과 같습니다:

1. 새로운 평가 문제 제시: 에이전트 추적으로부터 재사용 가능한 기술 추출을 "블랙박스 추적 노출" 문제로 정식화함.
2. 벤치마크 구축: 다양한 도메인과 난이도에 걸쳐 절차적 기술 보호를 평가하기 위한 CAPTRACEBENCH를 도입함.
3. 이중 계층 방어: 선택적 추적 재작성(재사용 가능한 콘텐츠 제거)과 행동 워터마킹(출처 추적)을 결합하는 것이 독점적 에이전트 기술을 보호하는 실행 가능한 전략임을 입증함.
4. 균형 잡힌 트레이드오프: 결과는 디버깅과 재현성을 지원하는 추적을 공개하면서도, 독점적 지적 재산인 특정 공식, 임계값 및 루틴을 제거하는 것이 가능하다는 것을 보여줌.

저자들은 본 평가가 자동 검증기를 사용하는 통제된 작업들을 대상으로 하므로, 실제 배포 환경에서는 더 노이즈가 많은 추적과 약한 검증 피드백이 존재할 수 있다는 한계를 인정하며, 행동 워터마크는 암호학적 소유권 증명이 아닌 통계적 출처 증거로 취급되어야 함을 강조합니다.