FMI_SU_Yotkova_Kastreva at SemEval-2026 Task 13: Lightweight Detection of LLM-Generated Code via Stylometric Signals

Resumen Técnico: Detección Ligera de Código Generado por LLM mediante Señales Estilométricas

Enunciado del Problema
El artículo aborda el desafío de detectar código generado por máquinas (generado por LLM) frente a código escrito por humanos, específicamente en el contexto de la Tarea 13, Subtarea A de SemEval-2026. La tarea requiere una clasificación binaria que generalice a través de lenguajes de programación no vistos (por ejemplo, Go, PHP, C#, C, JavaScript) y dominios de aplicación (código de investigación y producción). Los autores destacan que, aunque los modelos de lenguaje grandes (LLM) han transformado el desarrollo de software, su uso plantea preocupaciones sobre la integridad educativa, la contratación técnica y la seguridad del software (por ejemplo, lógica insegura o puertas traseras ocultas). A diferencia del lenguaje natural, el código fuente está restringido por sintaxis y semántica estrictas, lo que puede oscurecer las diferencias estilísticas utilizadas típicamente para la detección de texto generado por máquinas. Además, los enfoques existentes que dependen de modelos grandes preentrenados a menudo se degradan bajo cambios de distribución, como al encontrarse con lenguajes o dominios no vistos.

Metodología
Los autores proponen una tubería de detección ligera e interpretable que prioriza características estilométricas basadas en ratios y reglas heurísticas sobre representaciones neuronales de alta capacidad. La arquitectura del sistema consta de los siguientes componentes:

1. Extracción e Ingeniería de Características:

   • Descriptores Basados en Ratios: El núcleo del enfoque implica características basadas en ratios normalizadas por longitud, diseñadas para ser menos sensibles a la longitud del fragmento. Las características clave incluyen el Ratio de Comentarios (líneas de comentario sobre líneas totales), Ratio Verbo-Comentario (tokens de verbos sobre tokens de palabras en comentarios), Ratio Tipo-Texto (líneas clasificadas como lenguaje natural sobre líneas totales de código) y Ratio Identificador-Verbo.
   • Características Sintácticas y Estructurales: Utilizando el parser incremental Tree-Sitter, el sistema extrae características como Puntuación de Completitud (completitud sintáctica), Nodos de Error Cerca del EOF (errores de análisis cerca del final del archivo), Complejidad Ciclomática y ratios de Sentencias-a-Líneas-de-Código (LOC).
   • Identificación de Lenguaje: Un clasificador Naïve Bayes Multinomial dedicado, entrenado en el conjunto de datos Rosetta Code utilizando características TF-IDF de n-gramas de caracteres, identifica el lenguaje de programación para habilitar el análisis sintáctico específico del lenguaje.

2. Clasificadores Auxiliares:

   • Clasificador Línea-Código-vs-Línea-Texto: Para manejar muestras que contienen lenguaje natural crudo mezclado con código, se entrena un clasificador binario en un conjunto de datos personalizado que combina fragmentos de código de Stack Overflow y datos de chat de Twitch. Utiliza un vectorizador TF-IDF con n-gramas de caracteres para distinguir líneas de código de líneas de texto a la granularidad de líneas individuales.

3. Clasificación y Lógica de Decisión:

   • Clasificadores Superficiales: El sistema emplea regresión logística y árboles de decisión superficiales (profundidad 2) entrenados sobre las características extraídas.
   • Reglas Heurísticas: Las predicciones finales integran las salidas del clasificador con heurísticas específicas derivadas del análisis de datos:
     • Marcadores de Lenguaje: Se señalan instancias donde el nombre del lenguaje de programación aparece como una línea independiente que precede al código (un artefacto común de los LLM).
     • Umbral del Ratio Tipo-Texto: Se aplica un umbral de 0.3 al Ratio Tipo-Texto. Las muestras que exceden este valor se clasifican directamente como generadas por LLM, priorizando la especificidad sobre la sensibilidad.
   • Escalado por Cubetas: Para tener en cuenta las variaciones de longitud, las muestras de código se dividen en cubetas pequeñas, medianas y grandes basadas en el recuento de líneas, aplicando un escalado de características y umbrales de decisión separados a cada una.

Contribuciones Clave
El artículo describe cuatro contribuciones principales:

1. Análisis de Codificadores Preentrenados: Una investigación sobre las limitaciones de los codificadores de código preentrenados (por ejemplo, GraphCodeBERT, CodeT5+) bajo cambios de distribución, demostrando su pobre generalización a lenguajes no vistos en comparación con los métodos basados en características.
2. Características Interetables Basadas en Ratios: La introducción de descriptores específicos basados en ratios que capturan la descriptividad y la fuga estilística (por ejemplo, comentarios verbosos, texto explicativo) comunes en el código generado por LLM.
3. Conjunto de Datos Código-vs-Texto: La construcción de un conjunto de datos para la clasificación a nivel de línea entre lenguaje natural y código fuente, permitiendo la detección de artefactos de lenguaje natural incrustados dentro de muestras de código.
4. Tubería Ligera: Un sistema de detección computacionalmente eficiente que logra un rendimiento competitivo utilizando solo recursos de CPU y ofrece inferencia casi instantánea, en contraste con los altos costos computacionales de los grandes modelos neuronales.

Resultados
El sistema fue evaluado en el conjunto de pruebas oficial de la Tarea 13 de SemEval-2026, que incluye siete lenguajes de programación y diversos dominios.

• Codificadores Preentrenados: Modelos como GraphCodeBERT y CodeT5+ lograron puntuaciones altas de validación (por ejemplo, 98.21% y 97.46% de macro-F1) pero fallaron al generalizar al conjunto de pruebas, cayendo a 25.11% y 49.39% respectivamente. Los autores atribuyen esto al sobreajuste en pistas específicas del lenguaje (por ejemplo, la indentación de Python) que no se transfieren a otros lenguajes.
• Enfoque Basado en Características: El sistema final, que combina un árbol de decisión (profundidad 2) con heurísticas, logró una puntuación macro-F1 de 67.35.
  • El árbol de decisión por sí solo obtuvo 65.62.
  • La regresión logística con ajuste de umbral obtuvo 63.16.
  • La adición de heurísticas proporcionó una mejora absoluta de aproximadamente 2%.
• Componentes Auxiliares: El clasificador código-vs-texto obtuvo 96.07% de macro-F1 en el conjunto de validación, mientras que el clasificador de identificación de lenguaje alcanzó una precisión del 95.10%.
• Clasificación: El enfoque se ubicó dentro del 15% superior de todas las envíos en la tabla de clasificación oficial.

Significado y Afirmaciones
Los autores posicionan su trabajo como una alternativa robusta e interpretable a los modelos neuronales complejos para la detección de autoría de código. Afirman que su enfoque aborda efectivamente el desafío de la generalización a través de lenguajes y dominios sin requerir recursos de GPU o entrenamiento a gran escala. Al centrarse en señales estilométricas, específicamente la presencia de comentarios verbosos, texto explicativo y artefactos estructurales como marcadores de lenguaje independientes, el sistema captura la "descriptividad" a menudo inherente en las salidas de los LLM. El artículo enfatiza que, aunque los modelos de aprendizaje profundo ofrecen fuertes representaciones semánticas, sufren cambios de distribución y carecen de interpretabilidad. En contraste, la tubería ligera propuesta ofrece una solución práctica para escenarios donde la eficiencia computacional, la interpretabilidad y la robustez multilingüe son críticas, logrando tiempos de inferencia casi instantáneos en hardware de CPU estándar.