기술 요약: PIPE-Cypher

문제 정의

엔터프라이즈 속성 그래프는 스키마 구조, 내부 용어, 도메인 가정, 거버넌스 제약 조건 및 사용자 상호작용 패턴 측면에서 공개 벤치마크와 크게 다릅니다. 결과적으로, 공개된 Text-to-Cypher 데이터셋은 모델이 조직 특유의 레이블, 관계 방향, 값 및 운영 질문을 처리할 수 있는지 평가하는 데 실패합니다. 또한, 정적인 공개 데이터셋은 제품이 출고되고 통합이 추가됨에 따라 변화하는 프로덕션 스키마에 적응할 수 없습니다.

관련성 있는 벤치마크를 만드는 것은 다음과 같은 이유로 어렵습니다:

1. 고유성: 스키마와 값은 각 조직마다 고유합니다.
2. 역동성: 그래프 구조는 제품 출고 및 통합 추가에 따라 시간이 지남에 따라 변합니다.
3. 요구사항: 각 자연어(NL)와 Cypher 쌍은 실행 가능해야 하며, 실제 그래프 엔티티를 사용해야 하고, 다양성을 보존해야 하며, 쿼리 유형과 난이도 전반에 걸쳐 균형을 유지해야 합니다.
4. 개인정보 보호: 조직은 민감한 스키마나 값을 유료 생성 API로 보낼 수 없습니다.
5. 신뢰성: 로컬 모델이 개별 쿼리는 작성할 수 있지만, 실제 값을 그라운딩(grounding)하고, 관계 방향을 보존하며, 안전하지 않은 절(clause)을 피하고, 카테고리를 균형 있게 맞추는 전체 루프를 수행하는 데는 종종 실패합니다.

방법론: PIPE-Cypher 파이프라인

PIPE-Cypher는 라이브 속성 그래프와 선택적 시드 쿼리(고객 질문, 로그 또는 에이전트 호출에서 추출)를 균형 잡히고 실행 가능한 NL-to-Cypher 벤치마크로 변환하는 로컬 벤치마크 생성 파이프라인입니다. 이는 모델이 언어와 생성을 담당하고 결정론적 그래프 체크가 반복 가능성, 확장성 및 감사 가능성을 보장하는 제약된 파이프라인으로 작동합니다.

파이프라인은 7단계로 구성됩니다:

1. 스키마 및 값 프로파일링: 레이블, 관계 유형, 속성, 관찰된 방향 및 경계가 있는 저카디널리티 범주형 값을 기록합니다.
2. 워크로드 계획: 8가지 운영 카테고리를 대상으로 합니다: 단순/복잡한 검색, 단순/복잡한 집계, 불리언 존재 여부, 부정/차이, 경로/시간적 트랜잭션, 그리고 랭킹/Top-k.
3. 역방향 Cypher 그라운딩(Reverse Cypher Grounding): 읽기 전용 Cypher 쿼리를 실행하여 실제로 행(row)을 생성하는 슬롯 값을 찾습니다. 이는 그럴듯해 보이지만 그래프 내에 답이 없는 질문이 생성되는 것을 방지합니다.
4. 제약 기반 생성: 역방향 바운딩된 값을 채운 워크로드 템플릿을 기반으로 로컬 LLM(Qwen3.5-9B)을 사용하여 후보를 생성합니다. 모델이 특정 테넌트 값을 암기하는 것을 방지하기 위해 플레이스홀더화된 리트리벌 예시를 사용합니다.
5. Cypher 거버넌스 (결정론적 게이트): 수락 전 엄격한 규칙을 강제합니다:
   • 읽기 전용 안전성: 쓰기/관리 토큰을 차단합니다.
   • 스키마 유효성: 레이블, 속성 및 범주형 값이 존재하는지 확인합니다.
   • 방향 유효성: 관계 순회 방향을 검증합니다.
   • 정규화: RETURN DISTINCT를 강제하고 위험한 구문(예: UNION, CALL, UNWIND)을 거부합니다.
6. 실행 검증: 읽기 전용 자격 증명으로 생성된 Cypher를 실행합니다. 구문/런타임 오류를 확인하고 필요한 경우 결과가 비어 있지 않은지 확인합니다.
7. LLM 심판 검토: 실행을 통과한 후보만을 로컬 LLM 심판이 검토합니다. 심판은 소수의 인간 레이블에 따라 모호성, 의미적 정렬 및 스키마 사용을 평가합니다.

개인정보 보호 및 레드액션(Redaction): 시스템에는 구성 가능한 값 샘플링 정책 및 레드액션 규칙이 포함되어 있습니다. 프롬프트와 결과의 민감한 값은 광범위한 내부 검토를 위해 안정적인 플레이스홀더로 대체되어, 벤드마크를 공유할 때 PII(개인 식별 정보)가 유출되지 않도록 보장합니다.

주요 기여

본 논문은 네 가지 주요 기여를 합니다:

1. 로컬 모델 워크플로우: 유료 API에 의존하지 않고 조직 자체의 그래프로부터 프라이빗한 NL-to-Cypher 벤치마크를 생성하는 방법.
2. 결과 인지형 그라운딩 및 검증: 읽기 전용 안전성, 관계 방향, 정확한 리터럴, 범주형 값 및 보수적 재작성을 위한 역방향 그라운딩 및 Cypher 전용 검증기 시스템.
3. 확장 가능한 공개 프록시 평가: FinBench, SNB 및 ICIJ Offshore Leaks에 대한 포괄적인 평가를 포함하며, 여기에는 절제 연구(ablation studies), 심판 보정, 레드액션 감사 및 11개 모델 로컬 전이 연구가 포함됩니다.
4. 재현 가능한 산출물: 온보딩, 값 샘플링, 벤치마크 갱신, 증거 패키징 및 감사 추적을 위한 도구.

결과

생성 및 심판을 위해 로컬 Qwen3.5-9B를 사용하여, PIPE-Cypher는 4,925개의 후보 중 3,000개의 수락된 예시(FinBench에서 2,000개, SNB에서 1,000개)를 생성했습니다.

• 수락률: 전체적으로 약 61%.
• 커버리지: 두 그래프 모두에 대해 8가지 워크로드 카테고리 전반에서 완벽한 균형을 달 achievement 했습니다.
• 신뢰성: 절제 연구에서, 거버넌스가 적용된 파이프라인은 제약되지 않은 셀에 대해 100% 타겟 커버리지에 도달한 반면, 제약되지 않은 생성은 균형 잡힌 실행 가능한 커버리지를 생성하는 데 실패했습니다.
• 다양성: 템플릿 시딩으로 인해 쿼리 시그니처 다양성은 낮게 유지되었으나, 다양성 제어 선택기가 구조적 커버리지, Adjusted Distinct-2 및 속성 커버리지를 개선했습니다.
• 심판 보정: 80개 행에 대한 사후 인간 감사 결과, 로컬 LLM 심판과 80%의 일치율을 보였습니다 (Cohen's $\kappa$ = 0.60). 심판은 보수적이었으며, 샘플 내에서 오탐(false accepts)은 관찰되지 않았습니다.

다운스트림 평가:

• 제로샷 성능: 홀드아웃 분할에 대한 제로샷 전이는 약했으며, 평균 실행 정확도는 0.000에서 0.203 사이였습니다 (평균 0.036).
• 퓨샷 유용성: 스키마별 예시 뱅크가 성능을 향상시켰습니다. "노 시그니처(no-signature)" 컨트롤(정확한 쿼리 시그니처 매치를 제외함)은 평균 정확도를 0.200으로 높였고, 정렬된 동일 카테고리 뱅크는 0.269에 도달했습니다.
• 실패 모드: 벤치마크는 의미적 실패를 성공적으로 노출했습니다. 많은 모델이 구문적으로는 유효하고 실행도 가능하지만 잘못된 답을 내놓는 Cypher를 생성했습니다 (예: 오류의 52.1%가 답변 불일치).

의의 및 주장

본 논문은 PIPE-Cypher를 정적인 데이터셋이 아닌 반복 가능한 엔터프라이즈 워크플로우로 규정합니다. 그 의의는 다음과 같습니다:

• 정적에서 동적으로의 전환: 조직이 오래된 공개 코퍼스에 의존하는 대신, 그래프와 워크로드가 진화함에 따라 벤치마크를 갱신할 수 있게 합니다.
• 개인정보 보호: 민감한 값을 외부 API에 노출하지 않고 프라이빗 데이터에 대해 벤치마킹을 허용합니다.
• 실행 가능한 진실: 정당성을 프롬프팅을 통해 기대하는 것이 아니라 실행 및 결정론적 게이트를 통해 체크되는 것으로 취급함으로써, 구문은 맞지만 의미적으로 실패하는 "환각" 쿼리를 필터링합니다.
• 진단 가치: 파이프라인은 조직이 모델의 실패 지점(예: 방향 오류, 빈 결과 또는 의미적 불일치)을 이해할 수 있도록 명확한 진단(거부 레저, 다양성 메트릭, 실패 분류학)을 제공합니다.

저자들은 이 벤치마크가 구문 전용 평가가 숨길 수 있는 다운스트림 모델의 실패를 드러내지만, 의미적 정확성을 보장하지는 않는다는 점(실행 유효성 $\neq$ 의미적 정확성)을 겸허히 주장합니다. 또한 결과가 공개 프록시(FinBench, SNB, ICIJ)를 기반으로 하며, 테넌트별 미세 조정은 본 연구의 완성된 주장이 아니라 산출물을 통해 가능해지는 엔지니어링 경로임을 명시합니다.