Resumen Técnico: La Influencia de los Modelos de Lenguaje de Gran Escala en el Código

Declaración del Problema

La rápida integración de los Modelos de Lenguaje de Gran Escala (LLM) y las herramientas impulsadas por LLM (por ejemplo, Copilot, Cursor) en el desarrollo de software ha planteado interrogantes sobre su impacto tangible en las prácticas de programación del mundo real. Mientras que la investigación previa se ha centrado en distinguir el código generado por LLM del código escrito por humanos o en evaluar la corrección funcional, existe una falta de evidencia empírica sobre si los LLM han transformado fundamentalmente el estilo de código en condiciones reales. Este artículo investiga la pregunta central: ¿Han transformado los LLM el estilo de código, y cómo puede caracterizarse dicha transformación? Específicamente, los autores examinan si las preferencias estilísticas de los LLM (por ejemplo, convenciones de nomenclatura, métricas de complejidad) están permeando en los repositorios de código escritos por humanos a lo largo del tiempo.

Metodología

El estudio emplea un enfoque de doble vertiente que combina un análisis empírico a gran escala de repositorios del mundo real con simulaciones controladas.

1. Recolección de Datos

• Repositorios de GitHub: Los autores recolectaron 22,074 repositorios y más de 1 millón de archivos de código fuente vinculados a artículos de arXiv publicados entre el primer trimestre de 2020 y el tercer trimestre de 2025. Los repositorios fueron categorizados por lenguaje de programación (Python, C/C++) y dominio científico (Ciencias de la Computación frente a No-CS).
• Línea Base Escrita por Humanos: Para establecer una línea base previa a los LLM, los autores utilizaron Code4Bench, un conjunto de datos de envíos de usuarios aceptados de Codeforces anteriores a 2020.
• Subconjunto de Problemas: Se seleccionó un subconjunto de 200 problemas algorítmicos de Code4Bench, estratificados por dificultad (calificación de 800–2000+) y tipo de algoritmo (por ejemplo, DP, Greedy, Math).

2. Simulación y Generación

Los autores simularon la codificación asistida por LLM utilizando 12 LLM diversos (incluyendo las series Qwen3, DeepSeek-R1, GPT-4.1, Llama-4 y Gemini-2.0). Se probaron dos estrategias de generación:

• Generación Directa (ANS): Los modelos resuelven problemas desde cero basándose únicamente en las descripciones del problema.
• Generación Guiada por Referencia (REF): Se proporciona a los modelos una solución correcta escrita por un humano (código AC) y se les instruye para revisar o reescribirla.

3. Métricas de Evaluación

El estudio analizó el código a través de cuatro dimensiones:

• Patrones de Nomenclatura: Categorizados en formatos (snake_case, camelCase, PascalCase, etc.) y medidos mediante la longitud de los nombres.
• Complejidad y Mantenibilidad: Medidos mediante Complejidad Ciclomática, métricas de Halstead (Volumen, Dificultad, Esfuerzo, Errores) e Índice de Mantenibilidad (Estándar y Personalizado).
• Similitud de Código: Cuantificada mediante Similitud de Coseno y Similitud de Jaccard entre el código humano, la generación directa y la generación guiada por referencia.
• Alineación de Razonamiento: Analizó la coincidencia entre las etiquetas algorítmicas en la cadena de razonamiento del modelo y las etiquetas del problema de verdad fundamental (ground-truth).

Contribuciones Clave y Resultados

1. Evidencia de Transformación de Estilo (Patrones de Nomenclatura)

El estudio proporciona la primera evidencia empírica a gran escala de que los LLM están influyendo en los estilos de codificación humana.

• Adopción de Preferencias de LLM: En Python, la proporción de nombres de funciones en snake_case en los repositorios de GitHub aumentó del 40.7% en el Q1 2023 al 49.8% en el Q3 2025. Esta tendencia se alinea con la preferencia observada en el código generado por LLM.
• Nomenclatura de Variables: Los LLM prefieren consistentemente nombres de variables más largos y descriptivos (por ejemplo, max_length en lugar de ml) y evitan nombres de una sola letra o con sufijos numéricos. Los repositorios de GitHub muestran una disminución paralela en los nombres cortos/con sufijos numéricos y un aumento en la longitud promedio de los nombres, particularmente en dominios de CS.
• Diferencias de Lenguaje: Mientras que Python muestra tendencias temporales claras en la nomenclatura, las tendencias en C/C++ son menos pronunciadas, aunque el uso de snake_case en variables y funciones de C/C++ también muestra una trayectoria ascendente.

2. Complejidad y Mantenibilidad

• LLM vs. Humano: En Python, el código generado por LLM exhibió una mayor complejidad ciclomática que el código escrito por humanos. Por el contrario, en C/C++, los LLM produjeron código con menor complejidad ciclomática.
• Mantenibilidad: El código generado por LLM generalmente demostró índices de mantenibilidad más altos y menores conteos de errores estimados en comparación con las soluciones escritas por humanos en la simulación.
• Guiado por Referencia vs. Directo: En Python, la generación guiada por referencia (reescribir código existente) resultó en un código más conciso (menor volumen/esfuerzo de Halstead) que la generación directa. En C/C++, se observó lo opuesto.

3. Similitud de Código

• Capacidad de Imitación: Cuando se les proporcionó código de referencia, los LLM produjeron soluciones con una similitud significativamente mayor (tanto de Coseno como de Jaccard) al código humano original en comparación con la generación directa.
• Divergencia: Sin la guía de referencia, el código generado por LLM en tareas de algoritmos de IO divergió significamente en estilo del código escrito por humanos, lo que sugiere que los LLM tienen estilos "nativos" distintos que difieren de las normas humanas a menos que se condicionen explícitamente.

4. Razonamiento y Comprensión Algorítmica

• Coincidencia de Etiquetas: El análisis de las cadenas de razonamiento reveló que los LLM a menudo fallan al mencionar explícitamente las etiquetas algorítmicas correctas (por ejemplo, "DP", "Greedy") asociadas con el problema.
• Tasas de Error: La tasa de error (identificar algoritmos incorrectos) generalmente superó la tasa de coincidencia (identificar algoritmos correctos).
• Sesgo de Lenguaje: Los modelos tendieron a depender más del razonamiento algorítmico para las tareas de C/C++ en comparación con Python, donde se inclinaron hacia los detalles de implementación práctica.
• Correlación de Dificultad: Tanto las tasas de coincidencia como las de error aumentaron con la dificultad del problema, lo que sugiere que los problemas más difíciles activan mejor las capacidades de razonamiento algorítmico de los modelos, aunque con mayor ruido.

Significado y Reivindicaciones

El artículo afirma proporcionar la primera evidencia empírica a gran escala de que los LLM no son solo herramientas para generar código, sino que están remodelando activamente el paisaje estilístico de la programación en el mundo real.

• Cambio en las Normas: Los autores argumentan que los estilos de codificación humana se están desplazando hacia las convenciones preferidas por los LLM (por ejemplo, snake_case, nombres más largos), creando un bucle de retroalimentación donde los desarrolladores humanos pueden estar alineándose sutilmente con las normas generadas por máquinas.
• Más allá de la Detección: A diferencia de trabajos previos centrados en la detección de código generado por IA, este estudio se centra en la influencia de los LLM en la evolución del estilo de código, destacando que el impacto de los LLM se extiende más allá de la corrección funcional hacia las normas estéticas y estructurales.
• Implicaciones: Los hallazgos sugieren que, a medida que crezca la adopción de los LLM, la distinción entre el estilo "humano" y el de la "máquina" podría desdibujarse, lo que requiere una reevaluación de cómo se evalúan la calidad y el estilo del código en el futuro.

Los autores mantienen la modestia respecto a sus afirmaciones, reconociendo limitaciones como la incapacidad de cuantificar el porcentaje exacto de código generado por LLM en el mundo real y la potencial incompletitud de la línea base previa a los LLM (Code4Bench) para representar todo el espectro de los estilos de codificación humana. Enfatizan que su trabajo identifica rastros de influencia en lugar de una causalidad definitiva para todos los cambios observados.