기술 요약: LLM 기반 코드 생성에서의 구문적 견고성 실패 평가, 악용 및 완화

문제 제기

대형 언어 모델 (LLM) 은 코드 생성에 increasingly 활용되고 있으며, 특히 과학적 컴퓨팅과 수학적 추론이 필요한 분야에서 그렇습니다. LLM 이 수학적 공식을 포함한 프롬프트를 기반으로 코드를 생성하도록 요청받을 때 중요한 신뢰성 문제가 발생합니다. 두 공식이 의미적으로 동일하다 하더라도 (예: $a \times x + b = 0$와 $a \times x + a + b = a$), 구문적으로는 다릅니다. 이 논문은 견고한 LLM 기반 코드 생성기는 입력 프롬프트의 이러한 구문적 변형과 관계없이 의미적으로 동등한 코드를 생성해야 한다고 주장합니다. 그러나 저자들은 현재 최첨단 모델들이 종종 이러한 일관성을 유지하지 못하며, 의미적으로 동일하지만 구문적으로 다른 공식에 대해 서로 다른 코드를 생성하거나 잘못된 코드를 생성한다고 관찰했습니다. 이러한구문적 견고성의 부재는 특히 입력이 자연스러운 변형이나 적대적 조작에 노출될 때 자동화된 코드 생성 파이프라인에 위험을 초래합니다.

방법론

구문적 견고성의 공식적 정의

저자들은구문적 견고성을 의미적으로 동등하지만 구문적으로 다른 프롬프트 ($P$) 에 대해 LLM 기반 코드 생성기 ($G$) 가 의미적으로 동등한 프로그램 ($C$) 을 생성하는 정도로 공식화합니다.

• 프롬프트 구조: 프롬프트 $P$는 $\langle T, F \rangle$ 튜플로 정의되며, 여기서 $T$는 영어 텍스트이고 $F$는 수학적 공식입니다.
• 동치성: 두 공식 $F_1$과 $F_2$는 동일한 할당 하에서 동일한 값을 평가할 때 의미적으로 동치 ($[[F_1]] \equiv [[F_2]]$) 입니다. 두 프로그램은 모든 입력에 대해 동일한 출력을 생성할 때 동치입니다.
• 지표: 구문적 견고성은 공식의 구문적 변형 중 LLM 이 참조 솔루션과 동등한 코드를 생성하는 비율로 측정됩니다.

실험 설계

1. 데이터셋 구축: 본 연구는 Clover 데이터셋 (공식 명세), HackerRank, MATH, MaTT 등 다양한 출처의 52 개 프롬프트를 활용합니다. 프롬프트는 다음과 같이 분류됩니다:
   • 추론 프롬프트: 코드 유도를 위해 수학적 조작 (예: 적분) 을 요구합니다.
   • 번역 프롬프트: 주어진 공식을 코드로 직접 번역하는 것을 요구합니다.
2. 구문적 변이: 저자들은 수학적 공식을 위한 문맥 자유 문법을 정의하고 방정식에 대해 18 가지, 표현식에 대해 12 가지 변이 유형을 도입합니다. 이러한 변이 (예: 교환 법칙에 따른 덧셈, 0 추가, 변수 이름 변경) 는 의미를 보존하지만 구문을 변경합니다. 이들은 "구문적 거리"가 5 (변이 단계 수) 에 달하는 변형을 생성합니다.
3. 평가 파이프라인:
   • 생성: LLM 이 원본 및 변이된 프롬프트에 대한 코드를 생성합니다.
   • 검증: 생성된 코드는 컴파일되어 100 개의 무작위 입력을 사용하여 참조 솔루션에 대한 차등 테스트를 거칩니다. 부동 소수점 비교는 반올림 오차를 고려하기 위해 오차 임계값 (epsilon) 을 사용합니다.
   • 평가된 모델: GPT-3.5, GPT-4o, Llama-3.1-70B, CodeLlama, 그리고 추론 강화 변형 (Chain-of-Thought, Deeply Understanding Problems) 이 평가되었습니다.

공격 전략

본 논문은 모델의 견고성 점수를 최소화하기 위해 변형을 적용함으로써 구문적 견고성 실패를 악용하는 블랙박스 공격 전략을 제안합니다:

• NaiveUniform: 무작위 변이 선택.
• Uniform: 특정 구문적 거리를 보장하는 무작위 선택.
• Weighted: 프로파일링에서 도출된 변이 영향 점수에 기반한 확률적 선택.
• Top-K: 견고성에 가장 해로운 것으로 식별된 상위 50% 변이 중 선택.

완화 전략

이러한 실패에 대응하기 위해 저자들은공식 축소를 포함하는전처리 단계를 제안합니다. 이 기술은 프롬프트의 수학적 공식을 LLM 에 입력하기 전에 간소화하기 위해 일련의 축소 규칙 (예: 중복된 덧셈/뺄셈 제거, 항을 방정식 한쪽으로 이동) 을 적용합니다. 가설은 더 짧고 간소화된 공식이 LLM 이 올바르게 처리하기 쉽다는 것입니다.

주요 결과

1. 구문적 견고성 부재 (RQ1)

최첨단 LLM 은 구문적으로 견고하지 않습니다. 구문적 거리 (변이 수) 가 증가함에 따라 모든 모델에서 견고성 정도가 지속적으로 감소합니다.

• GPT-4o+CoT가 평균 견고성 87.4% 로 가장 잘 수행되었으며, 이어GPT-4o가 83.87% 였습니다.
• 최상위 모델조차도 변이가 증가함에 따라 성능이 저하되었으며, GPT-3.5 는 거리 단계당 -9.52% 의 유의미한 감소폭을 경험했습니다.

2. 추론 대 번역 (RQ2)

프롬프트 유형에 따라 견고성에 상당한 차이가 존재합니다:

• 번역 프롬프트(직접 공식-코드) 는 높은 견고성 (~83.80%) 을 보였습니다.
• 추론 프롬프트(수학적 유도 요구) 는 현저히 낮은 견고성 (~42.86%) 을 보였습니다.
• 추론 프롬프트는 번역 프롬프트에 비해 구문적 거리가 증가함에 따라 견고성이 더 급격히 감소했습니다.

3. 공격의 효과성 (RQ3)

제안된 공격 전략은 구문적 견고성을 효과적으로 저하시킵니다.

• Top-K및Weighted공격이 가장 효과적이었습니다.
• Top-K 전략을 사용하면 GPT-3.5 의 추론 프롬프트에 대한 구문적 견고성이 거리 5 에서 14.64% 로 떨어졌습니다.
• Top-K 공격은 다른 전략에 비해 목표 낮은 견고성 수준을 달성하는 데 필요한 변이 수가 적었습니다 (예: 견고성을 10% 로 낮추는 데 Top-K 는 3 개의 변이만 필요한 반면 Weighted 는 5 개가 필요했습니다).

4. 축소를 통한 완화 (RQ4)

공식 축소 전처리 단계는 견고성을 크게 향상시켰습니다.

• 변이된 프롬프트에 축소를 적용한 결과, 모델 간 평균 **20.37%**만큼 구문적 견고성이 증가했습니다.
• GPT-4o+CoT 의 경우, 축소는 원본 (비변이) 프롬프트보다 견고성을 0.6% 더 향상시켰습니다.
• 이 기술은 Top-K 공격의 영향을 성공적으로 완화하여 원본 프롬프트의 견고성 수준과 가까운 수준으로 회복시켰습니다.

중요성 및 주장

이 논문은 수학적 공식을 포함하는 LLM 기반 코드 생성에 대해구문적 견고성을 공식적으로 정의하고 체계적으로 평가한 최초의 연구라고 주장합니다. 그 중요성은 다음과 같습니다:

1. 치명적인 취약점 식별: LLM 이 특히 수학적 추론이 필요할 때 수학적 입력의 구문적 변형에 매우 민감함을 입증합니다.
2. 적대적 노출: 이러한 취약점이 최소한의 프롬프트 수정으로 코드 생성 실패를 유도하기 위해 블랙박스 공격을 통해 악용될 수 있음을 보여줍니다.
3. 실용적 완화: 모델 재학습이나 아키텍처 변경 없이 신뢰성을 크게 향상시키는 경량 모델 중립적 전처리 기술 (공식 축소) 을 제안합니다.
4. 벤치마킹: 향후 연구에서 견고성을 평가하기 위한 공식적 프레임워크, 변이 규칙이 포함된 52 개 프롬프트 데이터셋, 그리고 평가 지표를 제공합니다.

저자들은 LLM 이 코드 생성에서 가능성을 보이지만, 수학적 맥락에서의 구문적 견고성 부재는 배포 전 공식 축소와 같은 완화 전략을 사용하여 중요하거나 자동화된 파이프라인에 적용해야 한다고 결론지었습니다.