기술 요약: 소프트웨어 디자인 패턴 (싱글톤 사례) 적용을 위한 LLM 유도 전략

문제 제기

대규모 언어 모델 (LLM) 은 자연어 프롬프트에서 구문적으로 정확하고 기능적인 소스 코드를 생성하는 데 상당한 능력을 입증해 왔으나, 고수준의 아키텍처 구조와 확립된 설계 원칙을 준수하는 데는 빈번히 실패합니다. 구체적으로 LLM 은 장기적인 소프트웨어 유지 관리성, 모듈성 및 신뢰성에 필수적인 싱글톤 (Singleton) 패턴과 같은 소프트웨어 디자인 패턴을 일관되게 적용하는 데 어려움을 겪습니다. 본 연구에서 다루는 핵심 문제는 해당 코드의 기능적 정확성을 훼손하지 않으면서 LLM 이 생성된 코드에 특정 디자인 패턴을 포함하도록 유도할 효과적인 전략의 부재입니다.

방법론

저자들은 6 개의 서로 다른 모델 계열 (GPT, Llama, Qwen, Gemma, Mistral, DeepSeek) 에 속한 4B 에서 70B 파라미터까지의 13 개 LLM 을 포함하는 계산 실험을 수행했습니다. 연구에는 164 개의 Java 코딩 과제로 구성된 HumanEval-X 데이터셋을 활용했습니다. 중요한 점은 해당 작업들의 표준 해법이 본질적으로 싱글톤 패턴을 요구하지 않기 때문에 데이터셋이 선택되었다는 것입니다. 이는 패턴 구현이 우연한 해결책이 아닌 유도 전략의 결과임을 보장하기 위함입니다.

평가 지표

1. 기능성: 각 작업에 대해 사전 정의된 단위 테스트를 통과한 생성된 솔루션의 비율을 나타내는 pass@1 비율로 측정합니다.
2. 싱글톤 정렬: 패턴 속성 만족도 (Pattern Property Satisfactory Rate, PSR) 를 기반으로 수정된 싱글톤 점수를 사용하여 측정합니다. 클래스는 다음 세 가지 특정 술어 (predicate) 에 대해 평가됩니다.
   • 비공개 생성자: 클래스는 단일 비공개 생성자를 갖습니다.
   • 인스턴스 메서드: 인스턴스를 검색하기 위한 비공개 정적 메서드가 존재합니다.
   • 전역 접근점: 공개 정적 액세스 메서드가 존재합니다.
     점수는 총 요구된 술어 대비 누락된 술어의 비율로 계산되었습니다.

실험 설계

13 개 모델에 걸쳐 네 가지 서로 다른 프롬프팅 전략이 평가되었습니다.

1. 지시사항을 통한 유도: 모델은 프롬프트를 통해 명시적으로 싱글톤 패턴 구현을 지시받았으나 오류에 대한 피드백은 받지 못했습니다.
2. 자기 개선 (이진 피드백): 모델은 반복적인 시도를 허용받았습니다. 각 시도 후, 코드가 싱글톤 패턴을 따르는지 여부를 나타내는 이진 피드백을 받았으나 누락된 속성은 구체적으로 명시되지 않았습니다.
3. 도구 지원 자기 개선 (광범위한 피드백): 이전 전략과 유사하지만, 피드백은 세 가지 싱글톤 술어 중 누락된 항목을 명시적으로 식별했습니다 (예: "다음 검사에 실패했습니다: 전역 접근점").
4. 도구 지원 퓨샷 (Few-Shot) 프롬프팅: 모델은 전략 3 의 광범위한 피드백을 받았으며, 여기에 올바르게 구현된 싱글톤 클래스 두 가지 예시가 추가되었습니다.

주요 결과

싱글톤 구현에 미치는 영향

• 직접 지시: 모델에게 싱글톤 패턴 사용을 지시하는 것만으로도 대부분의 모델에서 준수도가 크게 향상되었습니다. **Llama 3.3 (70B)**과 **Gemma 3 (27B)**는 직접 지시만으로도 완벽한 싱글톤 점수 (100%) 를 달성했습니다.
• 반복 피드백: 자동화된 피드백 루프는 모든 모델에서 일관되게 싱글톤 정렬을 향상시켰습니다. **도구 지원 자기 개선 (광범위한 피드백)**이 대부분의 모델에서 가장 높은 정렬을 보였으며, 여러 모델 (Llama 3.3, GPT-4o mini, GPT-5 mini 포함) 이 100% 싱글톤 점수를 달성했습니다.
• 퓨샷의 한계: 예시가 보편적으로 도움이 될 것이라는 가설과 달리, 퓨샷 예시를 추가하는 것이 광범위한 피드백 단독 사용보다 일관되게 성능을 향상시키지는 못했습니다. 일부 경우 (예: Gemma 3 (4B)) 에는 싱글톤 점수가 오히려 낮아졌습니다.

기능적 정확성에 미치는 영향

디자인 패턴을 향한 LLM 유도가 기능적 정확성에 미치는 영향은 모델에 따라 크게 달라지는 것으로 나타났습니다.

• 양의 상관관계: 몇몇 고성능 모델의 경우, 싱글톤 패턴 사용을 유도하는 것이 실제로 기능적 정확성을 향상시켰습니다. Llama 3.3은 지시사항에 따라 유도되었을 때 테스트 통과율이 34.1% 포인트 증가했습니다. GPT-4o mini는 통과율이 55.5% 포인트 증가했습니다.
• 음의 상관관계: 반대로, 더 작거나 능력이 부족한 모델 (예: DeepSeek Coder v2, Gemma 3 (4B)) 의 경우, 싱글톤 패턴 구현 요구사항은 기능을 현저히 저하시켰으며, 통과율은 최대 32.3% 포인트까지 하락했습니다.
• 상충 관계: 일부 모델 (예: DeepSeek Coder) 은 싱글톤 구조를 성공적으로 구현했으나 원래 기능을 유지하지 못했습니다. 이는 패턴이 올바르게 적용되었으나 잘못된 논리에 적용되어 컨텍스트가 손실되었음을 나타냅니다.

주요 기여

1. 전략에 대한 실증적 평가: 이 논문은 LLM 이 디자인 패턴을 사용하도록 유도하기 위한 네 가지 서로 다른 전략 (지시사항, 이진 피드백, 광범위한 피드백, 퓨샷) 을 체계적으로 비교합니다.
2. 모델별 통찰: 결과는 "만능" 전략이 없음을 보여줍니다. 최적의 접근법은 특정 LLM 아키텍처와 크기에 크게 의존합니다. 예를 들어, 광범위한 피드백이 대부분의 모델을 도운 반면, 직접 지시는 Llama 3.3 과 같은 최상위 모델에게는 충분했습니다.
3. 기능성 대 패턴 준수: 이 연구는 디자인 패턴을 강제하는 것이 반드시 코드 품질을 해친다는 가정을 도전합니다. 유능한 모델의 경우 아키텍처 제약을 강제하는 것이 모델을 더 엄격하게 코드를 구조화하도록 강요함으로써 우연히 기능적 정확성을 향상시킬 수 있음을 보여줍니다.

중요성과 주장

저자들은 이 작업이 단순한 코드 생성을 넘어 LLM 생성 소프트웨어의 아키텍처 무결성을 다루기 때문에 중요하다고 주장합니다. 논문은 다음과 같이 주장합니다.

• 유도 가능성: 직접 지시나 이진 피드백과 같은 간단한 전략조차 LLM 이 디자인 패턴을 구현하도록 효과적으로 유도할 수 있습니다.
• 반복 피드백의 견고성: 반복적인 이진 피드백은 광범위한 모델에 대해 기능을 유지하거나 향상시키면서 싱글톤 패턴과 가장 잘 정렬되는 전반적인 결과를 제공합니다.
• 컨텍스트의 중요성: 디자인 패턴을 올바르게 적용하는 능력은 모델 크기의 함수일 뿐만 아니라 사용된 프롬프팅 전략의 함수입니다.
• 실무 적용: 이 발견은 LLM 을 통합한 소프트웨어 엔지니어링 도구가 생성된 코드가 업계 표준 설계 원칙을 준수하도록 이러한 피드백 루프를 사용할 수 있음을 시사하며, 이는 AI 지원 소프트웨어 개발의 장기적 유지 관리성을 향상시킵니다.

이 논문은 싱글톤 패턴이 명확한 구조적 술어를 가진 생성 패턴이지만, 결과가 더 복잡한 행동 패턴의 경우 달라질 수 있음을 지적하며 겸손하게 결론을 내립니다. 본 연구는 LLM 이 패턴을 언제 사용할지 자율적으로 결정할 수 있다고 주장하는 것이 아니라, 명시적으로 요청되거나 수정될 때 효과적으로 유도될 수 있음을 주장합니다.