UCSC-NLP at SemEval-2026 Task 13: Multi-View Generalization and Diagnostic Analysis of Machine-Generated Code Detection

A continuación se presenta un resumen técnico detallado del artículo "UCSC-NLP en SemEval-2026 Tarea 13: Generalización Multi-Vista y Análisis Diagnóstico de la Detección de Código Generado por Máquina".

1. Enunciado del Problema

El artículo aborda el desafío crítico de distinguir entre código escrito por humanos y código generado por IA, una tarea esencial para mantener la integridad académica, garantizar la equidad en la contratación y asegurar las cadenas de suministro de software. Los autores participan en la Tarea 13 de SemEval-2026, que presenta dos subtasas distintas con desafíos únicos:

• Subtarea A (Detección Binaria): Distinguir código humano de código generado por máquina. El desafío principal aquí es el desplazamiento de distribución: los datos de entrenamiento se restringen a Python, C++ y Java dentro de un dominio algorítmico, mientras que el conjunto de prueba incluye lenguajes no vistos (JavaScript, C#, Go, etc.) y dominios no vistos (Investigación, Producción), incluyendo un 33.4% de fragmentos de "contenido mixto".
• Subtarea B (Atribución Multiclase): Identificar la familia específica de Modelos de Lenguaje Grande (LLM) que generó el código (Humano vs. 10 familias diferentes de LLM). El desafío principal es el desequilibrio extremo de clases: el conjunto de datos está dominado por código humano (88.4%), creando una relación de 221:1 entre la clase mayoritaria y las clases minoritarias más pequeñas. Esto conduce a una "falla catastrófica de la clase minoritaria" donde los modelos estándar simplemente predicen la clase mayoritaria.

2. Metodología

Subtarea A: Marco de Generalización Multi-Vista

Para abordar la discrepancia de lenguaje y dominio, los autores ajustan finamente UniXcoder-base utilizando un marco de entrenamiento multi-vista diseñado para aprender representaciones invariantes al generador. El sistema procesa tres vistas del código de entrada:

1. Vista Original: Tokenización estándar.
2. Vista Deslexicalizada: Los identificadores, literales de cadena y números se reemplazan por tokens genéricos (ID, STR, NUM) para eliminar pistas superficiales específicas del lenguaje.
3. Vista de Contenido Mixto: Se inyectan fragmentos de texto aleatorios en los fragmentos de código para simular la distribución de contenido mixto encontrada en el conjunto de prueba.

Técnicas Clave:

• Prefijos Estructurales de 3 Dominios: Se antepone a los fragmentos un prefijo que indica su tipo (limpio, mixto o fragmento) para ayudar al modelo a alinear los tipos de contenido.
• Pérdida de Consistencia KL Simétrica: El modelo se entrena para minimizar la divergencia simétrica de Kullback-Leibler entre las predicciones de las vistas original, deslexicalizada y mixta, imponiendo consistencia a través de diferentes representaciones.
• Eliminación de Tokens (Token Dropout): El 15% de los tokens no especiales se enmascaran aleatoriamente durante el entrenamiento para evitar la dependencia de palabras clave específicas del lenguaje espurias.
• Estrategia de Inferencia: La predicción final es un promedio de los logits de las tres vistas, actuando como un conjunto de costo cero.

Subtarea B: Línea Base Diagnóstica y Extensión Ponderada por Clases

Los autores utilizan CodeBERT-base con una cabeza de clasificación lineal softmax.

1. Línea Base Diagnóstica: Un modelo ajustado finamente estándar sin reponderación de clases. Esto sirve como control para demostrar que el ajuste fino estándar falla bajo un desequilibrio extremo.
2. Sistema Ponderado por Clases: Un sistema competitivo que aplica ponderación de clases inversa a la frecuencia a la pérdida de entropía cruzada. Esto aumenta el peso de las clases minoritarias de LLM proporcionalmente a su subrepresentación para obligar al modelo a aprender características discriminativas para generadores raros.

3. Contribuciones Clave

1. Marco Robusto de Detección Binaria: Un enfoque novedoso de entrenamiento multi-vista que logra una fuerte generalización a través de lenguajes y dominios no vistos al imponer consistencia entre las vistas de código deslexicalizado, mixto y original.
2. Análisis Diagnóstico del Desequilibrio: Una demostración rigurosa de que el ajuste fino estándar falla catastróficamente en tareas de atribución multiclase con desequilibrio extremo de clases. Los autores muestran que una alta precisión (88.4%) puede enmascarar un fracaso completo para detectar clases minoritarias (Macro F1 ~0.08).
3. Evidencia Empírica de Superposición de Incrustaciones: La visualización mediante t-SNE revela que, aunque el código humano y el de máquina son separables en el espacio de incrustaciones (Subtarea A), las diferentes familias de LLM se superponen significativamente entre sí y con el código humano (Subtarea B), lo que explica la dificultad de la atribución de granularidad fina.

4. Resultados

Subtarea A (Detección Binaria)

• Validación: Logró un Macro F1 de 0.993 casi perfecto.
• Conjunto de Prueba: Logró un Macro F1 de 0.845 en el conjunto de prueba fuera de distribución.
• Análisis: La brecha de 14.8 puntos entre las puntuaciones de validación y prueba refleja la dificultad de la generalización multilingüe y no el sobreajuste. El modelo mostró un rendimiento equilibrado entre las clases Humano y Máquina, sin sesgo sistemático.

Subtarea B (Atribución Multiclase)

• Línea Base Diagnóstica: Logró un 88.4% de Precisión pero un Macro F1 catastrófico de 0.086. El modelo efectivamente predijo "Humano" para casi todas las entradas, fallando en identificar cualquier familia específica de LLM.
• Sistema Ponderado por Clases: Al aplicar ponderación inversa a la frecuencia y entrenar durante 3 épocas, el sistema recuperó el Macro F1 a 0.345 (una mejora relativa del 301%).
• Compensación: Esta mejora vino a costa de que la precisión general cayera al 78.7%, lo que indica que el modelo cambió exitosamente de un sesgo hacia la clase mayoritaria a una discriminación multiclase genuina.

5. Significado y Direcciones Futuras

• Impacto Práctico: El trabajo destaca que, si bien la detección binaria de código de IA se está volviendo robusta, la atribución de granularidad fina (identificar qué IA escribió el código) sigue siendo un desafío abierto debido a la homogeneidad arquitectónica entre los LLM y el desequilibrio de datos.
• Perspectiva Metodológica: El artículo demuestra que las métricas estándar como la precisión son engañosas en tareas de detección de código desequilibradas; el Macro F1 es la métrica crítica.
• Trabajo Futuro: Los autores sugieren que las mejoras futuras en la atribución podrían requerir:
  • Aprendizaje contrastivo para maximizar la separación interclase.
  • Incorporar características estructurales (AST, grafos de flujo de control) en lugar de depender exclusivamente de señales a nivel de token.
  • Funciones de pérdida avanzadas como Focal Loss o muestreo equilibrado por clases.
  • Explorar arquitecturas basadas en decodificador o codificador-decodificador (por ejemplo, CodeT5).

El artículo concluye con una declaración ética que enfatiza que, debido a las tasas de falsos positivos (Recuperación Humana de 0.760), la revisión humana sigue siendo esencial antes de tomar decisiones con consecuencias sobre autoría o contratación.