Label-Consistent Data Generation for Aspect-Based Sentiment Analysis Using LLM Agents

1. 연구 배경 및 문제 정의 (Problem)

**Aspect-Based Sentiment Analysis (ABSA, 속성 기반 감성 분석)**는 텍스트 내의 특정 속성 (Aspect Term) 을 식별하고 해당 속성에 대한 감성 (Polarity) 을 분류하는 과제입니다. 하지만 이 분야는 다음과 같은 어려움에 직면해 있습니다.

• 데이터 부족 및 비용: 속성 수준의 세밀한 주석이 필요하여 데이터 수집 비용이 높고, 희귀한 속성 - 감성 조합이나 도메인 특이적 언어 변이가 부족합니다.
• 기존 LLM 기반 증강의 한계: 최근 대규모 언어 모델 (LLM) 을 이용한 합성 데이터 생성이 시도되고 있으나, 대부분 단순 프롬프팅 (Prompting) 에 의존합니다. 이로 인해 라벨 불일치 (Label Inconsistency), 구조적 다양성 부족, 그리고 모서리 케이스 (Corner cases) 처리 실패 등의 문제가 발생합니다. 특히 생성된 문장이 의도한 속성이나 감성 라벨을 정확히 반영하지 못하는 경우가 많아 학습에 노이즈를 유발합니다.

2. 제안 방법론 (Methodology)

저자들은 에이전트 기반 데이터 증강 (Agentic Data Augmentation) 워크플로우를 제안하여 위 문제를 해결합니다. 이 방법은 생성 (Generation) 과 검증 (Verification) 을 분리된 에이전트가 수행하는 ReAct 스타일 프레임워크를 기반으로 합니다.

• 핵심 아키텍처:

  • 생성 에이전트 (Generator Agent): 실제 리뷰의 스타일, 문법 구조, 길이를 추출하여 '생성 정책 (Generation Policy)'을 수립한 후, 이를 바탕으로 속성 - 감성 쌍을 포함하는 후보 문장을 생성합니다.
  • 평가 에이전트 (Evaluator Agent): 생성된 문장에 대해 두 단계의 검증을 수행합니다.
    1. 라벨 포함 확인 (Label Inclusion): 정책에서 지정한 모든 속성 용어가 문장에 정확히 포함되었는지 확인 (복수형 변화, 부분 일치 등 구조적 오류 탐지).
    2. 라벨 검증 (Label Verifier): 각 속성 용어가 의도한 감성 극성 (Positive/Negative) 과 일치하는지 LLM 을 통해 판단합니다.
  • 결과: 두 조건을 모두 만족하는 경우만 합성 데이터셋에 저장하고, 실패 시 다시 생성하도록 유도합니다.

• 비교 대상 (Baseline):

  • 동일한 모델 (Qwen2.5-14B) 과 프롬프트, 샘플링 전략을 사용하되, 에이전트 구조 없이 단일 프롬프트로 직접 생성하는 'Raw Prompting' 방식을 비교 대상으로 설정하여 에이전트 구조의 효과를 고립시켰습니다.

• 실험 설정:

  • 데이터: SemEval 2014-2016 (Laptop14, Rest14, Rest15, Rest16) 데이터셋 4 개.
  • 작업: 속성 추출 (ATE), 속성 감성 분류 (ATSC), 속성 - 감성 쌍 추출 (ASPE).
  • 모델: T5-Base (지시 미세 조정 전) 와 Tk-Instruct-base (1,600 개 이상의 NLP 작업에 대한 지시 미세 조정 완료).

3. 주요 기여 (Key Contributions)

1. ABSA 특화 에이전트 워크플로우: 고품질의 과목별 합성 데이터를 생성하기 위해 생성과 검증을 분리한 에이전트 기반 파이프라인을 도입했습니다.
2. 통제된 비교 실험: 동일한 모델과 프롬프트를 사용하여 '구조화된 자기 반성적 생성 (Structured Self-reflective Generation)'의 기여도를 고립시켜 분석했습니다.
3. 체계적 분석: 모델의 사전 학습 정도 (Pretraining), 증강 규모, 하위 작업의 복잡성이 합성 데이터의 효과에 미치는 영향을 심층 분석했습니다.

4. 실험 결과 (Results)

• 라벨 일관성 (Label Consistency): 에이전트 방식은 Raw Prompting 방식에 비해 생성된 데이터의 라벨 일관성이 훨씬 높았습니다. 특히 복잡한 작업인 ATE 와 ASPE 에서 그 격차가 두드러졌습니다 (예: Rest16 데이터셋에서 ATE 일관성 78.17% vs 43.89%).
• 학습 성능 (Performance):
  • 합성 데이터 단독 학습: 합성 데이터만으로는 인간 주석 데이터의 성능을 대체할 수 없었으나, 에이전트 방식이 프롬프팅 방식보다 더 높은 베이스라인을 유지했습니다.
  • 혼합 학습 (Real + Synthetic): 실제 데이터와 합성 데이터를 혼합했을 때, T5-Base 모델에서 에이전트 방식이 일관되게 성능을 향상시켰습니다. 반면, Tk-Instruct 는 사전 학습이 충분하여 증강 효과가 상대적으로 작았습니다.
  • 모델 간 격차 해소: 에이전트 증강을 통해 T5-Base 가 Tk-Instruct 와 유사하거나 때로는 더 나은 성능을 달성하여, 대규모 지시 미세 조정 (Instruction Tuning) 없이도 과목별 고품질 증강으로 모델 간 격차를 줄일 수 있음을 보였습니다.
• 작업별 민감도:
  • ATSC (감성 분류): 가장 큰 향상을 보임 (단일 결정 작업이라 라벨 일관성이 높음).
  • ATE (속성 추출): 중간 정도의 향상.
  • ASPE (쌍 추출): 복잡한 구조로 인해 향상폭이 제한적이거나 불일치했습니다.
• 증강 규모: 합성 데이터의 양을 1:1 (x1) 로 혼합했을 때 최적의 성능을 보였으며, 2 배 (x2) 로 늘리면 오히려 노이즈가 증가하여 성능이 저하되거나 정체되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 제어된 에이전트 기반 생성이 단순 프롬프팅보다 ABSA 과제의 데이터 증강에 훨씬 효과적임을 입증했습니다.

• 기술적 의의: LLM 이 생성한 데이터의 품질을 보장하기 위해 '생성 - 검증' 사이클을 도입함으로써, 합성 데이터의 라벨 신뢰도를 획기적으로 높였습니다.
• 실용적 가치: 고비용의 인간 주석 데이터나 대규모 지시 미세 조정 (Instruction Tuning) 없이도, T5-Base 와 같은 경량 모델이 고품질 데이터 증강을 통해 최첨단 모델 (Tk-Instruct) 과 경쟁할 수 있는 성능을 달성할 수 있음을 보였습니다.
• 한계 및 향후 과제: 현재 사용된 오픈 소스 LLM 의 능력 한계로 인해 복잡한 에이전트 아키텍처 구현에 제약이 있었으며, 향후 다국어 지원, 적응형 샘플링, 모델 루프 피드백 등을 통해 데이터 품질을 더욱 고도화할 수 있을 것으로 기대됩니다.

요약하자면, 이 논문은 ABSA 를 위한 고품질 합성 데이터 생성을 위해 단순 프롬프팅을 넘어선 '에이전트 기반 검증 프로세스'의 필수성을 강조하며, 이를 통해 모델의 일반화 능력을 향상시키고 데이터 부족 문제를 해결할 수 있는 실용적인 방안을 제시합니다.