Supporting System Testing with a Multi-Agent LLM-based Framework for Knowledge Graph Extraction: A Case Study with Ethernet Switch Systems

기술적 요약: 지식 그래프 추출을 위한 멀티 에이전트 LLM 기반 프레임워크로 시스템 테스트 지원

문제 제기
이더넷 스위치 구성 매뉴얼 (ESCMs) 과 같은 기술 문서는 하류 소프트웨어 엔지니어링 작업, 특히 시스템 테스트 자동화에 필수적인 풍부한 도메인 지식을 포함하고 있습니다. 그러나 ESCM 은 본질적으로 반구조화되어 있으며 자동화를 위한 것이 아니라 인간 사용자를 위해 설계되었습니다. 다음과 같은 이유로 직접적인 지식 추출에 상당한 어려움을 겪습니다:

1. 암시적 속성: 구성 단계에는 명시적으로 레이블이 지정되지 않은 암시적 목표, 주의사항 및 종속성이 종종 포함됩니다.
2. 복잡한 종속성: 고수준의 "구성 로드맵" 단계와 상세한 "절차" 단계 간에 명시적으로 문서화되지 않은 다대다 (many-to-many) 매핑이 자주 존재합니다.
3. 구조적 가변성: 포맷팅, 작성 스타일 및 구조적 마커가 서로 다른 매뉴얼 간에 크게 달라 규칙 기반 방법과 전통적인 NLP 기술이 정확한 추출에 효과적이지 못합니다.

결과적으로 이러한 매뉴얼에서 포괄적인 테스트 케이스를 도출하는 것은 여전히 노동 집약적인 수동 프로세스로 남아 있습니다. 지식 그래프 (KG) 는 자동화에 적합한 구조화된 표현을 제공하지만, 기존 대규모 언어 모델 (LLM) 접근 방식이 주로 일반적인 텍스트에 맞춰져 정밀한 기술 스키마 준수를 위해 조정되지 않은 경우, 이러한 복잡한 기술 문서에서 고정밀 KG 를 생성하는 것은 어렵습니다.

방법론
저자들은 ESCM 에서 KG 를 추출, 평가 및 개선하도록 설계된 멀티 에이전트 LLM 기반 프레임워크를 제안합니다. 이 프레임워크는 이더넷 스위치 도메인에 맞게 특별히 조정된 세밀한 KG 스키마를 기반으로 작동하며, 사용 사례 시나리오, 네트워킹 요구 사항, 구성 로드맵 (계층적 단계, 목표 및 주의사항 포함) 및 절차 (명령, 예상 출력 및 주의사항 포함) 와 같은 엔티티를 포착합니다.

프레임워크는 다음과 같은 핵심 구성 요소로 이루어져 있습니다:

1. 청킹 (Chunking): 토큰 한계를 처리하고 정보 유형을 격리하기 위해 ESCM 을 섹션 기반 청크 (예: 로드맵, 절차) 로 분해합니다.
2. 추출 에이전트 (ExtrAgents): 세 가지 전문화된 LLM 에이전트가 고유한 추출 작업을 수행합니다:
   • 로드맵 추출 에이전트: 구성 로드맵에서 컨텍스트, 계층적 단계, 목표 및 주의사항을 추출합니다.
   • 로드맵 - 절차 매핑 에이전트: 고수준 로드맵 단계와 상세 절차 단계 간의 의미론적 매핑을 식별하여 다대다 관계를 처리합니다.
   • 절차 추출 에이전트: 절차 섹션에서 계층적 단계, 명령, 예상 출력 및 주의사항을 추출합니다. 이 에이전트는 구조적 변형을 처리하기 위해 대표적인 예시를 활용한 퓨샷 (few-shot) 프롬핑을 사용합니다.
3. 지식 그래프 추출 - 평가 - 개선 (EEI) 루프: 높은 정확성을 보장하기 위해 프레임워크는 반복적 루프를 사용합니다:
   • 평가 에이전트 (EvalAgent): LLM-as-a-Judge 패러다임을 사용하여 작업별 지침 (예: 단어 그대로 복사, 올바른 단계 매칭) 에 따라 추출된 엔티티를 평가합니다. 이 에이전트는 이진 점수와 상세한 피드백을 제공합니다.
   • 개선 에이전트 (ImprovAgent): EvalAgent 의 피드백을 분석하여 특정 오류 (예: 주의사항과 작업 세부 사항 구분 방법 명확화) 를 해결하기 위해 추출 프롬프트를 정제합니다.
   • 이 루프는 정확도 임계값 (0.9 로 설정) 을 충족하거나 최대 반복 횟수 (3 회) 에 도달할 때까지 정제된 프롬프트로 KG 엔티티를 재생성합니다.
4. KG 향상: 구성 파일, 네트워킹 요구 사항과 같은 보충 섹션이 하류 작업을 지원하기 위해 최종 KG 에 통합됩니다.
5. 하류 애플리케이션: 생성된 KG 는 사전 조건, 구성 단계 및 예상 결과를 포함하는 구조화된 인간 검토 가능 형식인 **테스트 케이스 명세 (TCS)**로 변환되어 자동화된 테스트 생성을 안내합니다.

주요 기여

1. 멀티 에이전트 프레임워크: 기술 문서의 구조적 및 의미론적 변형을 처리하기 위해 반복적 EEI 메커니즘에 의해 안내되는 추출, 평가 및 프롬프트 정리를 위한 전문 에이전트로 구성된 새로운 프레임워크.
2. 세밀한 KG 스키마: ESCM 을 위해 설계된 도메인별 스키마로, 단계별 속성 (목표, 주의사항, 명령) 과 섹션 간 종속성 (로드맵 - 절차 매핑) 을 명시적으로 포착합니다.
3. 반복적 정제 메커니즘: LLM-as-a-Judge 피드백을 활용하여 추출 프롬프트를 자동으로 정제하는 EEI 루프 도입으로, 그라운드 트루스 참조 없이도 어려운 사례에 대한 정확성을 크게 향상시킵니다.
4. 실증적 검증: 산업 파트너 (화웨이) 의 50 개 실제 ESCM 에 대한 포괄적 평가를 통해 높은 추출 정확성과 테스트 케이스 생성에 대한 생성된 KG 의 실용적 유용성을 입증했습니다.

결과
이 연구는 18 개 하위 카테고리를 포함하는 50 개 ESCM 에서 수행되었습니다.

• 추출 정확도 (RQ1): EEI 정제 전 원본 프롬프트를 사용하여 프레임워크는 세 가지 추출 작업 전반에 걸쳐 0.97 에서 0.99 사이의 높은 평균 정확도 점수를 달성했습니다. 대부분의 ESCM 은 정제가 필요하지 않았습니다.
• EEI 영향 (RQ2): 초기 점수가 0.9 임계값 미만인 소수의 ESCM 의 경우, EEI 루프가 프롬프트 정리를 트리거했습니다. 이로 인해 로드맵 추출의 경우 평균 정확도 향상분이 0.12, 로드맵 - 절차 매핑의 경우 0.15로 상당한 개선이 이루어져 모든 사례가 요구되는 품질 수준에 도달했습니다.
• LLM 대 인간 일치도 (RQ3): LLM-as-a-Judge 는 모든 작업에서 인간 평가자와 상당한 일치도를 보였으며, 코헨의 카파 점수는 0.72 에서 0.80 범위였습니다. 불일치는 주로 주의사항과 작업 세부 사항 구분과 같은 사소한 분류 차이 또는 포맷팅 문제 때문이지 중요한 추출 오류 때문이 아니었습니다.
• 하류 유용성 (RQ4): 5 명의 숙련된 산업 테스터가 KG 에서 생성된 TCS 를 평가했습니다. TCS 는 전체 평균 점수 4.18/5 및 95.3% 의 긍정적 평가율로 일관되게 높은 평가를 받았습니다. 테스터들은 명세가 유용하고 명확하며 기술적으로 정확하다고 평가했으나, 일부는 사전 조건과 예상 결과가 직접 실행을 위해 추가 정제가 필요할 수 있다고 지적했습니다.

의의 및 주장
본 논문은 제안된 프레임워크가 반구조화된 기술 문서와 자동화된 시스템 테스트 간의 격차를 효과적으로 해소한다고 주장합니다. 멀티 에이전트 아키텍처와 반복적 정제 루프를 활용함으로써 이 접근 방식은 전통적인 방법이 실패하는 곳에서 고정밀 지식 추출을 달성합니다. 저자들은 연구가 ESCM 에 초점을 맞추고 있지만, 프레임워크는 모듈화되고 일반화 가능하다고 강조합니다. 이를 다른 도메인에 적용하는 것은 아키텍처를 재설계하는 것보다 KG 스키마를 재정의하고 추출/평가 프롬프트를 조정하는 것이 주된 요구 사항입니다.

이 연구의 의의는 구조화된 피드백 기반 프레임워크에 통합된 LLM 이 복잡한 산업 문서에서 암시적 종속성과 속성을 신뢰할 수 있게 추출할 수 있음을 입증한다는 점에 있습니다. 이 기능은 테스트 케이스 명세 생성과 같은 하류 작업의 자동화를 지원하여 이더넷 스위치 테스트와 관련된 수동 노력과 비용을 줄입니다. 저자들은 생성된 TCS 가 매우 유용하지만 완전한 실행을 위해서는 여전히 인간 검토나 추가 정제가 필요할 수 있으며, 프레임워크의 다른 문서 유형에 대한 일반화 가능성은 추가 조사가 필요하다는 점을 인정하며 겸손한 입장을 견지합니다.