Dream at SemEval-2026 Task 13: SALSA for Single-Pass Machine-Generated Code Detection

Resumen Técnico: SALSA para la detección de código generado por máquinas en un solo paso

Definición del Problema
El artículo aborda el desafío crítico de detectar código generado por Modelos de Lenguaje de Gran Escala (LLM), una tarea esencial para mantener la integridad de la evaluación y la confianza en el software. Específicamente, los autores abordan la SemEval-2026 Task 13 Subtask A, que plantea el problema como una tarea de clasificación binaria (escrito por humanos frente a generado por máquina) sobre fragmentos de código. La dificultad principal radica en la generalización fuera de la distribución (OOD): el sistema debe funcionar de manera robusta en lenguajes de programación y dominios de aplicación no vistos (por ejemplo, pasando de datos de entrenamiento algorítmicos a escenarios de evaluación de investigación o producción). Los enfoques tradicionales que dependen de características diseñadas a mano o reglas de decisión suelen carecer de la cobertura de dominio y la robustez necesarias.

Metodología: SALSA
Los autores proponen SALSA (Single-pass Autoregressive LLM Structured Classification), una formulación que redefine la clasificación como una tarea de generación de tokens restringida en lugar de un problema estándar de secuencia a secuencia o basado en características.

1. Prompting Estructurado y Mapeo de Tokens:

   • En lugar de permitir que el modelo genere explicaciones verbosas o formatos inconsistentes, SALSA mapea cada clase a un único token de salida dedicado (por ejemplo, "0" para humano, "1" para máquina).
   • El prompt se estructura con delimitadores claros e instrucciones directas (por ejemplo, "¿es el código generado por una máquina?") que requieren la respuesta en un formato específico: <ANSWER>#</ANSWER>.
   • Para evitar el razonamiento de cadena de pensamiento (chain-of-thought) que introduce latencia y varianza de formato, los autores utilizan la bandera /no_think y un bloque <thought> vacío (específicamente para modelos Qwen3) para forzar una salida de un solo token.

2. Estrategia de Entrenamiento para la Robustez OOD:

   • Objetivo: El modelo se entrena utilizando un objetivo de modelado de lenguaje causal, pero la pérdida se evalúa exclusivamente en la posición del token de la etiqueta. Esto enfoca las actualizaciones del gradiente en la distribución del siguiente token para las clases objetivo.
   • Ajuste de Parámetros Eficiente (PEFT): Los autores emplean LoRA (Low-Rank Adaptation) para reducir los riesgos de sobreajuste y acelerar el entrenamiento.
   • Régimen de Entrenamiento Conservador: Para evitar que el modelo se especialice excesivamente en el dominio de entrenamiento (lo que degrada el rendimiento OOD), los autores adoptan un enfoque conservador:
     • Época Única: El entrenamiento se limita a una sola época.
     • Tasa de Aprendizaje Baja: Se utiliza una tasa de $5 \times 10^{-6}$.
     • Muestreo Balanceado: Dada la fuerte asimetría del conjunto de datos de entrenamiento hacia Python (91.5%), los autores implementan un muestreo balanceado entre grupos de (lenguaje, etiqueta). Esto evita que el modelo aprenda patrones específicos de Python a expensas de la alineación general de la tarea.

3. Inferencia:

   • La inferencia implica una pasada hacia adelante única (single forward pass). El sistema extrae los logits únicamente para los tokens de las clases objetivo ("0" y "1") y aplica una función softmax para determinar la etiqueta predicha, minimizando la sobrecarga de decodificación.

Contribuciones Clave

• Formulación: La introducción de SALSA, que convierte la clasificación en una tarea de predicción de un solo token confiable, eliminando la fragilidad de la generación de lenguaje abierto de los LLM.
• Optimación OOD: Una demostración de que el ajuste fino conservador (baja tasa de aprendizaje, época única, muestreo balanceado) preserva las capacidades generales del modelo base, superando significativamente a las estrategias de entrenamiento agresivas en entornos OOD.
• Desempeño: El sistema logra una mejora sustancial sobre el baseline oficial, abordando la brecha en la detección de código multilingüe y de dominios cruzados.

Resultados
Los autores evaluaron su sistema en la tabla de clasificación de SemEval-2026:

• Comparación con el Baseline: El baseline oficial CodeBERT logró una puntuación F1 OOD de 0.305.
• Desempeño de SALSA: El mejor sistema, utilizando Qwen2.5-72B-Instruct ajustado con SALSA, logró una puntuación F1 OOD de 0.789.
• Zero-Shot vs. Fine-Tuned: El desempeño zero-shot varió significativamente según el tamaño y la arquitectura del modelo, con algunos modelos mostrando un fuerte sesgo hacia la predicción de código "escrito por humanos" (alta precisión, recall muy bajo). El ajuste fino con la estrategia conservadora propuesta resolvió estos sesgos, logrando puntuaciones F1 de validación casi perfectas (0.996) mientras mantenía una fuerte generalización OOD.
• Escalado de Modelos: El desempeño generalmente escaló con el tamaño del modelo, siendo el modelo de 72B parámetros superior a las variantes de 32B y 8B.

Significancia
El artículo afirma que SALSA proporciona una solución robusta, eficiente y escalable para la detección de código generado por máquinas. Al delegar la decisión de autoría al modelo mediante el uso de prompting estructurado y gestionando cuidadosamente el proceso de ajuste fino para evitar el sobreajuste, el enfoque generaliza con éxito a lenguajes y dominios no vistos. Los resultados sugieren que preservar las características de propósito general del modelo base mediante un entrenamiento conservador es más efectivo para tareas OOD que maximizar la precisión dentro del dominio. Los autores señalan que su código está disponible públicamente, facilitando la investigación posterior en esta área.