기술 요약: 자동화된 개인 문서 재작성을 위한 LLM 환각 감소를 위한 근거 기반 최적화(Grounded Optimization)

1. 문제 정의

지원자 추적 시스템(ATS)을 위한 이력서 최적화에 대규모 언어 모델(LLM)을 적용할 때, 일반적인 텍스트 생성과는 구별되는 특정한 환각(Hallucination) 위험이 발생한다. 사용자가 결과물을 대화형으로 검증할 수 있는 챗봇과 달리, 이력서 최적화는 최소한의 인간 검토만 거치는 배치(Batch) 모드로 운영되는 경우가 많다. 저자들은 구체적인 결과(예: 후보자 자격 박탈 또는 해고)를 초래할 수 있는 네 가지 뚜렷한 실패 모드를 식별하였다:

1. 시점 조작 (Temporal Fabrication, H1): 후보자가 주장하는 고용 기간 중에 존재하지 않았던 기술을 주입하는 것 (예: 2018년 역할에 LangChain을 언급).
2. 교차 도메인 오염 (Cross-Domain Contamination, H2): 직무 기술서의 키워드와 일치시키기 위해 원래 역할에 존재하지 않는 기술 생태계의 용어를 도입하는 것 (예: AWS 전용 역할에 Azure 서비스 추가).
3. 구조적 변이 (Structural Mutation, H3): "최적화"라는 명목 하에 불렛 포인트(Bullet point)를 은밀하게 병합, 삭제 또는 축약하여 실제 성과를 제거하는 것.
4. 내용 조작 (Content Fabrication, H4): 회사 이름을 지어내거나, 수치를 부풀리거나, 자격 없는 자격증을 추가하는 것.

이 도메인의 정답(Ground Truth)은 후보자 자신의 경력 이력이며, LLM은 이를 왜곡하지 않으면서 강화해야 한다.

2. 방법론: 근거 기반 최적화 프레임워크 (Grounded Optimization Framework)

저자들은 LangGraph 상에서 멀티 에이전트 시스템으로 구현된 5단계 심층 방어 프레임워크인 **근거 기반 최적화(Grounded Optimization)**를 제안한다. 시스템은 전문화된 에이전트(요약, 기술, 경력, 프로젝트, 학력)를 통해 이력서를 처리하며, 경험(Experience) 에이전트는 전체 방어 스택을 전달받는다. 각 레이어는 특정 순서로 작동한다: 레이어 4 (프롬프트 주입) → LLM 호출 → 레이어 1–3 (출력 검증) → 레이어 5 (평가자 게이트).

레이어 1: 시점 맥락 검증 (Temporal Context Validation)

이 레이어는 시대착오적인 기술 주입을 방지하기 위해 이력서별 타임라인을 구축한다. 이는 큐레이션된 기술 출시일 매핑(예: LangChain → 2022)을 에이전트 프롬프트에 임베딩한다. LLM은 특정 역할에서 언급된 기술이 해당 역할의 기간 중에 존재했는지 확인하도록 지시받는다.

레이어 2: 교차 도메인 오염 탐지 (Cross-Domain Contamination Detection)

교차 도메인 유출 문제를 해결하기 위해, 저자들은 완전히 결정론적이고 LLM을 사용하지 않는 메커니즘을 채택했다. 그들은 AWS, GCP, Azure 및 온프레미스 스택에 걸친 257개의 클라우드 서비스 분류 체계를 구축했다. 탐지는 2단계 단어 경계 정규식 매칭 시스템을 사용한다:

• 1단계: 단일 명시적 키워드 매칭을 기반으로 제공업체를 속성 부여함.
• 2단계: 모호성을 해결하기 위해 $\ge$2개의 서비스 이름 매칭이 필요함 (예: "lambda"를 AWS Lambda와 Python 키워드 중 구분).
  시스템은 최적화 전후의 역할에 대한 클라우드 시그니처를 비교한다. 새로운 제공업체가 감지되면 출력은 되돌려지고, 재시도를 위한 경고가 주입된다.

레이어 3: 구조적 불변성 강제 (Structural Invariant Enforcement)

이 레이어는 최적화 전후의 의미 단위(Semantic unit)를 계산하여 구조적 변이를 다룬다. 이 레이어는 경험 항목의 수($|E'| \ge |E|$)와 항목당 불렛 포인트의 수($|b'_i| \ge |b_i| - 1$)가 허용 오차 범위 내에서 유지되는지 검증한다. 상당한 내용 손실이 발생하면 명시적인 구조적 목표와 함께 재시도를 트리거한다.

레이어 4: 프롬프트 수준의 내용 근거화 (Prompt-Level Content Grounding)

이는 첫 번째 방어선으로, 에이전트 프롬프트에 명시적인 불변 규칙을 직접 삽입한다. 제약 조건에는 다음이 포함된다:

• 정확한 불렛 포인트 개수 보존.
• 교육 세부 사항의 추가 또는 수정 금지.
• 새로운 회사 생성 또는 플레이스홀더(Placeholder) 사용 방지.
• 수치가 해당 시기에 현실적인지 확인.

레이어 5: 평가자 에이전트 QA 게이트 (Evaluator Agent QA Gate)

독립적인 LLM 인스턴스가 적대적 품질 관리 에이전트 역할을 수행한다. 이 에이전트는 원본 이력서, 재작성된 버전, 그리고 대상 직무 기술서를 받는다. 에이전트는 이진 수락 결정과 피드백을 반환한다. 만약 평가자가 출력을 거부하면, 피드백은 다음 재작성 시도에 주입된다. 만약 평가자가 실패(타임아웃 또는 잘못된 형식의 출력)할 경우, 환각의 침묵적 수용을 방지하기 위해 기본적으로 거부로 처리한다.

폴백 메커니즘 (Fallback Mechanism)

3회의 재시도 사이클 후에도 검증에 실패할 경우, 시스템은 최상의 LLM 출력과 보존된 원본 콘텐츠를 결합하는 결정론적 폴백 병합 메커니즘을 사용하여 원본 데이터가 손실되지 않도록 보장한다.

3. 주요 기여

1. 환각 분류 체계 (Hallucination Taxonomy): 개인 문서 최적화에 고유한 네 가지 특정 환각 모드(시점, 교차 도메인, 구조적, 내용)를 분류함.
2. 5단계 프레임워크: 결정론적 검증, 프롬프트 엔지니어링, 적대적 체크를 결합한 기능적 멀티 에이전트 시스템.
3. 결정론적 오염 탐지기: 두 번째 LLM 환각 표면을 도입하지 않도록 설계된, 257개 클라우드 서비스를 커버하는 정규식 기반 도구 및 2단계 신뢰도 점수 체계.
4. 절제 및 민감도 분석: 16가지 실험 조건(3개의 LLM, 4개의 온도, 6개의 레이어 구성, 680회의 LLM 호출)에 걸친 평가를 통해 각 레이어의 기여도를 규명함.

4. 실험 결과

프레임워크는 14개 산업 및 42개 역할에 걸친 25개의 합성 이력서를 대상으로 평가되었다.

• 베이스라인 성능: 방어되지 않은 베이스라인은 이력서당 2.48–5.36개의 감지된 환각을 생성했으며, 교차 도메인 오염(H2)이 지배적인 실패 모드(7ка 79–89%의 사건)였다.
• 절제 연구 (GPT-4.1-nano, t=0):
  • 프롬프트 수준 근거화(L4) 단독 적용 시: 이 특정 구성에서 감지된 환각은 0.00이었다.
  • 전체 프레임워크: 0.12의 비율을 달 기록했다 (H4의 가능성이 높은 위양성을 제외하면 0.04).
  • 연구에 따르면 L4 단독 성능은 더 약한 모델이나 더 높은 온도에서는 일반화되지 않았다.
• 멀티 모델 일반화:
  • 능력이 낮은 모델(GPT-4o-mini, Llama-3.1-8B)은 베이스라인 환각을 2~4배 더 많이 생성했다.
  • 전체 프레임워크는 테스트된 모든 모델에서 감지된 환합률을 95.2% – 99.3% 감소시켰다.
• 온도 민감도:
  • 온도가 0.0에서 1.0으로 증가함에 따라, 전체 프레임워크 하에서의 잔류 환각률은 0.12에서 0.24로 증가했다.
  • 이 증가는 거의 전적으로 시점(H1) 잔류물에 의해 주도되었으며, 이는 프롬프트 준수 능력이 확률적 성질(Stochasticity)이 높아짐에 따라 약해짐을 시사한다. 즉, 결정론적 레이어(L1–L3)가 프롬프트 근거화를 대체하는 것이 아니라 보완하는 역할을 해야 함을 보여준다.

5. 의의 및 한계점

의의:
본 논문은 프롬프트 엔지니어링이 이상적인 조건(강력한 모델, 낮은 온도) 하에서는 효과적이지만, 견고한 프로덕션 시스템을 위해서는 불충분하다고 주장한다. 결정론적 레이어(L1–L3)는 프롬프트 준수가 가장 취약한 지점(높은 온도, 약한 모델)에서 핵심적인 가치를 제공한다. 본 연구는 개인 문서 최적화의 특정 실패 모드를 규명하고, 외부 지식 베이스에만 의존하지 않고 환각을 완화하기 위한 체계적이고 계층적인 접근 방식을 제공한다.

한계점:
저자들은 다음과 같은 몇 가지 제약을 명시적으로 언급했다:

• H2 탐지기-방어 결합: H2 탐지기와 레이어 2 방어는 동일한 기초 함수를 공유한다. 따라서 레이어 2가 활성화된 구성에서의 H2 카운트는 구조적으로 0이 되며, 독립적인 경험적 측정값으로 해석될 수 없다.
• 데이터셋: 평가는 25개의 합성 이력서와 257개의 서비스 분류 체계에 의존하므로, 실제 세계의 분포나 롱테일 플랫폼(예: Salesforce, SAP)을 놓칠 수 있다.
• 탐지 범위: 탐지기는 일반적인 환각 벤치마크(SelfCheckGPT 또는 FActScore 등)와 비교하는 것이 아니라 특정 작업에 특화되어 있다.
• 규모: 프레임워크는 환각의 존재를 탐지하지만, 조작의 *규모(Magnitude)*까지는 탐지하지 못한다.

저자들은 향ual 연구가 교차 도메인 오염에 대해 독립적인 NLI 기반 평가자와 실제 이력서에 대한 인간 주석(Human Annotation)을 우선시해야 한다고 결론지었다.