Resumen Técnico: CODEDISTILLER

Declaración del Problema

Los sistemas de Descubrimiento Científico Automatizado (ASD) tienen como objetivo generar y ejecutar experimentos basados en código para producir conocimientos científicos. Sin embargo, los sistemas actuales enfrentan una limitación crítica: dependen en gran medida del conocimiento paramétrico (información adquirida durante el entrenamiento del modelo) para generar código. Esto restringe su capacidad para realizar experimentos que requieran métodos, mediciones o protocolos altamente específicos que no estén explícitamente presentes en los datos de entrenamiento del modelo. En consecuencia, los enfoques existentes se ven obligados a mutar un pequeño número de ejemplos de experimentos creados manualmente o a operar con calidad y alcance limitados. Existe una falta de métodos escalables para convertir el vasto código no estructurado disponible en repositorios científicos en ejemplos verificados y funcionales que los agentes puedan utilizar de forma fiable.

Metodología: CODEDISTILLER

Los autores presentan CODEDISTILLER, un sistema diseñado para destilar automáticamente grandes colecciones de repositorios científicos de GitHub en una biblioteca de ejemplos de código funcionales y específicos del dominio. El flujo de trabajo consta de dos fases principales:

1. Clasificación de Archivos Relevantes

Dado que los repositorios a menudo contienen cientos de archivos anidados, el sistema realiza primero una recopilación de información estática para identificar los archivos relevantes para la funcionalidad central del repositorio.

• Proceso: Un LLM escanea archivos individuales, clasificándolos en tipos de granularidad gruesa (código, documentación, scripts, datos, otros) y categorías de granularidad fina (por ejemplo, puntos de entrada, instrucciones, ejemplos existentes).
• Puntuación: A cada archivo se le asigna una puntuación de relevancia (1–5) y metadatos sobre los requisitos computacionales (por ejemplo, necesidades de GPU) o instrucciones de configuración críticas.
• Objetivo: Filtrar la ventana de contexto, proporcionando al modelo de generación de código solo los archivos más relevantes para la tarea para aumentar la probabilidad de éxito.

2. Generación de Código y Depuración Iterativa

Utilizando los archivos mejor clasificados y el propósito central del repositorio, el sistema genera y depura un ejemplo funcional.

• Generación: Un LLM base genera cuatro componentes: (1) código Python ejecutable, (2) requisitos de bibliotecas, (3) un script de ejecución Bash con configuración de entorno Conda y (4) metadatos (descripción, requisitos de recursos, criterios de inclusión/exclusión).
• Ejecución e Instrumentación: El código se ejecuta en un contenedor en la nube Ubuntu. El sistema captura salidas, incluidos registros con marca de tiempo, resultados JSON y STDOUT/STDERR sin procesar.
• Bucle LLM-como-Juez: Un LLM evalúa los registros de ejecución para determinar si el código funcionó correctamente. Si se detectan problemas, el sistema reflexiona sobre los registros y modifica el código. Este bucle se repite hasta el éxito o hasta alcanzar un límite (típicamente 8 iteraciones).
• Salida: Los ejemplos exitosos son scripts autocontenidos, listos para usar, adecuados para agentes ASD aguas abajo.

Contribuciones Clave

1. Sistema CODEDISTILLER: Una nueva tubería para convertir automáticamente repositorios científicos especializados de GitHub en ejemplos depurados y funcionales para sistemas de descubrimiento automatizado.
2. Evaluación en Ciencia de Materiales: Una evaluación empírica en 250 repositorios de ciencia de materiales, que demuestra que los modelos base pueden destilar con éxito entre el 26% y el 74% de los repositorios, dependiendo de la capacidad y el costo del modelo.
3. Impacto Aguas Abajo: Evidencia de que aumentar un agente ASD (específicamente CodeScientist) con una biblioteca generada por CODEDISTILLER resulta en experimentos más precisos, completos y científicamente sólidos en comparación con agentes que dependen únicamente de ejemplos de código de dominio general.
4. Análisis de Métricas de Evaluación: Una caracterización detallada del acuerdo entre las calificaciones de "LLM-como-Juez" y las de expertos del dominio, encontrando un acuerdo moderado en las pruebas A/B aguas abajo, pero un acuerdo variable en la propia tarea de destilación.

Resultados

Rendimiento de Destilación

El sistema se evaluó utilizando tres modelos base: GPT-OSS-120B, GPT-5 y Claude Sonnet 4.5.

• Tasas de Éxito: Las métricas automáticas (LLM-como-Juez) mostraron tasas de éxito que oscilaban entre el 61,6% (GPT-OSS) y el 75,6% (Claude). Sin embargo, la evaluación manual por un experto del dominio reveló una sobreestimación significativa por parte de las métricas automáticas.
  • GPT-OSS-120B: Reportó un 61,6% de éxito; la funcionalidad correcta validada por expertos fue solo del 25,9%.
  • GPT-5: Reportó un 70,4% de éxito; la validación por expertos fue del 69,0%.
  • Claude Sonnet 4.5: Reportó un 75,6% de éxito; la validación por expertos fue del 74,1%.
• Costo vs. Rendimiento: Los modelos de mayor rendimiento incurrieron en costos significativamente más altos. El costo promedio para un ejemplo exitoso usando Claude fue 19 veces mayor que el de GPT-OSS.
• Tiempo de Ejecución: Los ejemplos exitosos tardaron entre 13 y 21 minutos en promedio, requiriendo 1,9–2,4 iteraciones de depuración. Los intentos fallidos fueron costosos, a menudo alcanzando el límite de 8 iteraciones.

Evaluación Aguas Abajo (Pruebas A/B)

Los autores probaron si los ejemplos de CODEDISTILLER mejoraban el rendimiento del agente CodeScientist en 50 tareas de descubrimiento en ciencia de materiales.

• Preferencia: En las pruebas A/B que comparaban un agente base (ejemplos generales) frente a un agente aumentado (biblioteca CODEDISTILLER), el sistema aumentado fue preferido en >50% de los casos en cuanto a precisión, completitud y solidez científica.
• Mejoras Cualitativas: El agente aumentado produjo soluciones con mejor fundamentación de datos (usando conjuntos de datos reales frente a sintéticos), modelado más físicamente preciso (usando potenciales específicos del dominio frente a genéricos) y soluciones más canónicas (usando bibliotecas establecidas frente a implementaciones manuales).
• Acuerdo de Métricas: El Kappa de Cohen entre expertos del dominio y las calificaciones de LLM-como-Juez para las tareas aguas abajo osciló entre 0,62 y 0,77 (acuerdo moderado). La precisión mostró el acuerdo más fuerte (0,77), mientras que la completitud mostró el más débil (0,62).

Significado y Afirmaciones

El artículo afirma que CODEDISTILLER aborda eficazmente el cuello de botella de la curación manual de código en el descubrimiento científico automatizado. Al convertir automáticamente el código de repositorios no estructurados en ejemplos verificados, el sistema permite que los agentes ASD expandan sus capacidades más allá de su conocimiento paramétrico sin esfuerzo manual.

Los autores enfatizan que, aunque las métricas de LLM-como-Juez son útiles para escalar la evaluación, pueden sobreestimar significativamente el rendimiento en comparación con los expertos humanos, particularmente para modelos de menor costo. Sin embargo, los resultados aguas abajo sugieren que, incluso con estas limitaciones, la integración de bibliotecas destiladas automáticamente mejora significativamente la calidad científica de los experimentos generados por agentes. El trabajo posiciona a CODEDISTILLER no como un reemplazo para agentes de propósito general, sino como una herramienta especializada o un paso de preprocesamiento que puede integrarse en flujos de trabajo de descubrimiento más amplios para mejorar la fiabilidad y la especificidad del dominio.