기술 요약: 에이전트 웹에서 AI 생성 콘텐츠의 신뢰할 수 있는 재사용을 위한 프롬프트 인식 구조화 프레임워크

1. 문제 제기

인간 중심의 웹에서 AI 에이전트가 자율적으로 작업을 수행하는 '에이전트 웹'으로의 전환은 AI 생성 콘텐츠 (AIGC) 와 관련된 신뢰성 격차에 직면해 있습니다. AIGC 가 급속히 확산되고 있음 (2025 년 4 월에 발견된 새로운 웹페이지의 74% 가 AIGC 를 포함) 에도 불구하고, 현재 생성 과정에서 에이전트가 이 콘텐츠의 신뢰성, 재현성, 또는 라이선스 준수 여부를 검증할 수 있는 메커니즘은 존재하지 않습니다.

이러한 투명성 부재는 두 가지 주요 위험을 초래합니다:

1. 연쇄적 환각 (Chained Hallucinations): 에이전트가 콘텐츠를 재사용함에 따라 AIGC 의 오류나 환각이 웹 전반에 걸쳐 전파되고 증폭될 수 있습니다.
2. 에이전트 성능 저하: 파인튜닝 및 지식 증류와 같은 하류 작업에 저품질이거나 검증되지 않은 AIGC 를 사용하면 AI 에이전트의 성능이 저하되어 생태계 내에서 부정적인 피드백 루프를 생성합니다.

모델 컨텍스트 프로토콜 (MCP) 과 에이전트 간 (A2A) 과 같은 현재 프로토콜은 협력을 용이하게 하지만, 이러한 에이전트들이 생성한 콘텐츠의 안전한 재사용 문제를 해결하지는 못합니다.

2. 방법론

저자들은 생성 시점에 AIGC 에 구조화된 메타데이터를 자동으로 첨부하여 콘텐츠를 검증 가능한 자격증명으로 감싸는 프레임워크를 제안합니다. 이 방법론은 네 가지 핵심 구성 요소로 이루어져 있습니다:

2.1 메타데이터 스키마 설계

이 프레임워크는 프롬프트, 생성자, 모델, 하이퍼파라미터, 신뢰도 점수, 타임스탬프, 수정 이력, 추론 과정, 그리고 디지털 서명을 다루는 9 가지 역량 질문 (CQs) 을 기반으로 한 메타데이터 스키마를 정의합니다.

• 형식: 메타데이터는 JSON-LD로 인코딩됩니다.
• 구조: 모듈화된 프롬프트, 생성 컨텍스트, 생각 (Chain-of-Thought), 모델 정보, 그리고 하이퍼파라미터를 명시적으로 포함합니다.
• 검증: 메타데이터와 콘텐츠는 생성자의 개인 키로 서명되어 W3C 검증 가능 자격증명 데이터 모델 (VCDM) 과 분산 식별자 (DIDs) 기반의 **검증 가능 자격증명 (VC)**을 발급함으로써 콘텐츠 무결성과 발급자 진위를 보장합니다.

2.2 모듈화된 프롬프팅 (POML)

프롬프트의 '블랙박스' 성격을 해결하기 위해, 이 프레임워크는 **POML(프롬프트 오케스트레이션 마크업 언어)**을 활용합니다.

• 분해: 프롬프트는 역할, 배경, 요구사항, 예시, 출력 형식이라는 특정 모듈로 분해됩니다.
• 구현: ComplexBench 를 소스로 사용하여 저자들은 LLM(GPT-5-mini) 을 활용해 원시 프롬프트에서 이러한 요소들을 추출하여 1,150 개의 주요 POML 파일과 5,024 개의 모듈 구성 요소 파일을 생성했습니다. 이를 통해 구조화된 프롬프트가 생성된 출력과 함께 메타데이터로 직접 임베드될 수 있습니다.

2.3 생성 및 큐레이션 프로세스

• 생성: LLM 이 콘텐츠를 생성할 때, 시스템은 출력, 모듈화된 프롬프트, 로그 확률에서 도출된 신뢰도 점수, 그리고 추론 흔적 (있는 경우) 을 JSON-LD 구조에 캡슐화합니다.
• 큐레이션 에이전트: 큐레이션 에이전트는 각 AIGC 인스턴스의 메타데이터를 검색합니다. 모호한 품질 판단에 의존하는 대신, 생성된 콘텐츠가 모듈화된 프롬프트 메타데이터에 정의된 특정 요구사항을 충족하는지 확인함으로써 지시 준수 충실도를 기계적으로 평가합니다.
• 필터링: 모든 프롬프트 지시를 충족한다고 판단된 AIGC 만 파인튜닝을 위한 재사용에 선정됩니다.

3. 주요 기여

1. 구조화된 메타데이터 프레임워크: 생성 시점에 AIGC 에 모듈화된 프롬프트와 출처를 포함한 포괄적이고 기계 가독성 있는 메타데이터를 첨부하는 새로운 접근법.
2. 검증 가능 자격증명 통합: 콘텐츠 출처와 무결성에 대한 변조 방지 증명을 제공하기 위해 VCDM 과 DIDs 를 통합하여 에이전트 웹에서의 신뢰를 가능하게 함.
3. 프롬프트 인식 큐레이션: 출력 텍스트 자체뿐만 아니라 구조화된 프롬프트 지시에 대한 출력의 충실도를 기반으로 AIGC 품질을 평가하는 메커니즘.
4. 실증적 검증: 메타데이터 기반 큐레이션이 지식 증류를 위한 학습 데이터의 품질을 향상시킨다는 것을 실험적으로 입증.

4. 실험 결과

저자들은 ComplexBench데이터셋에서 세 가지 교사 모델 (Qwen3-32B, gpt-oss-20b, Llama-3.1-8B-Instruct) 이 생성한 AIGC 를 사용하여 작은 학생 모델 (Llama-3.2-1B-Instruct) 을 파인튜닝함으로써 프레임워크의 효과를 평가했습니다.

• 베이스라인 (Random-FT): 학생 모델은 세 교사 출력에서 무작위로 선택된 데이터로 파인튜닝되었습니다.
• 제안된 방법 (Curated-FT): 학생 모델은 프레임워크의 지시 준수 평가를 통해 선택된 단일 '최고' 출력으로 파인튜닝되었습니다.

지표:

• 요구사항 준수 비율 (RFR): 개별 질문에 올바르게 답변한 비율.
• 전체 요구사항 준수 비율 (FRFR): 모든 해당 질문에 올바르게 답변한 프롬프트의 비율 (엄격한 성공).

결과:
Curated-FT접근법은 Random-FT베이스라인보다 일관되게 우수한 성과를 보였습니다:

• RFR: Curated-FT 는 **47.30%**를 달성한 반면 Random-FT 는 **45.45%**였습니다.
• FRFR: Curated-FT 는 **16.07%**를 달성한 반면 Random-FT 는 **15.79%**였습니다.
• 이러한 결과는 구조화된 메타데이터와 지시 충실도에 기반하여 AIGC 를 선택함으로써 하류 작업을 위한 고품질 학습 데이터를 얻을 수 있음을 시사합니다.

5. 의의 및 주장

이 논문은 에이전트 웹 시대에서 AIGC 의 안전하고 효과적인 재사용을 위해 AIGC 의 출처와 생성 조건을 명시적으로 관리하는 것이 필수적이라고 주장합니다.

• 신뢰와 안전성: 검증 가능 자격증명과 구조화된 프롬프트를 첨부함으로써, 에이전트들이 신뢰성과 재현성을 평가하고 연쇄적 환각의 위험을 완화할 수 있게 합니다.
• 지식 자원: 이 연구는 컨텍스트와 출처로 구조화된 AIGC 가 모델 증류를 위한 고품질의 컨텍스트화된 지식 자원으로 기능할 수 있음을 시사합니다.
• 한계 및 향후 작업: 저자들은 현재 평가가 보정 없이 LLM 기반 판정자에 의존한다는 점을 겸손하게 지적합니다. 또한, 현재 혜택이 간접적이기 때문에 발급자들이 적극적으로 구조화된 AIGC 를 게시하도록 할 충분한 인센티브를 확립하는 것이 여전히 큰 과제로 남아 있습니다. 향후 작업은 검증 가능 자격증명의 견고성을 테스트하기 위해 악의적인 에이전트를 도입하는 방안을 모색할 것입니다.