In-IDE Toolkit for Developers of AI-Based Features

Resumen Técnico: Kit de Herramientas In-IDE para Desarrolladores de Funciones Basadas en IA

Declaración del Problema
El artículo aborda la dificultad que enfrentan los ingenieros de software para probar, depurar y reproducir funciones habilitadas por IA construidas sobre Modelos de Lenguaje Grande (LLM) y flujos de trabajo de agentes. A diferencia del software tradicional, estos sistemas suelen ser "cajas negras" donde el comportamiento depende de muestreo no determinista, contexto de datos y versiones de modelos. Esto hace que sea difícil localizar fallos y reproducir éxitos.

Los autores identifican una brecha específica: aunque existe una robusta herramienta nativa de IA (por ejemplo, LangSmith, Weights & Biases, MLflow), estas herramientas están optimizadas para profesionales de ML y suelen operar como paneles externos. Los ingenieros de software enfocados en el producto, que carecen de antecedentes en ML pero están construyendo cada vez más funciones con LLM, a menudo carecen de la intuición para la evaluación sistemática y encuentran poco claro el recorrido del usuario en las herramientas externas. En consecuencia, dependen de pruebas manuales ad hoc o de retroalimentación de producción en lugar de pipelines de evaluación estructurados y repetibles.

Metodología
La investigación emplea un enfoque de métodos mixtos para definir requisitos y validar la solución:

1. Análisis de Encuestas: Los datos se obtuvieron de una encuesta de Investigación Estratégica e Inteligencia de Mercado de JetBrains dirigida a profesionales de IA/ML y desarrolladores generales. Los hallazgos clave indicaron que el 56% de los encuestados tiene dificultades para probar comportamientos no deterministas y que el 36% considera un desafío construir pipelines de evaluación robustos. La mayoría de los desarrolladores (58%) dependen de pruebas manuales en lugar de pipelines automatizados.
2. Entrevistas Semiestructuradas: Se entrevistó a ocho ingenieros que construyen aplicaciones de IA. La idea central fue que los ingenieros no especializados en ML a menudo omiten por completo la evaluación pre-lanzamiento, enviando prototipos después de autoverificaciones manuales y confiando en señales de producción para la evaluación de calidad.
3. Requisitos de Diseño: Basándose en estas ideas, los autores establecieron tres requisitos de diseño:
   • DR1: Priorizar el rastreo y la evaluación como capacidades de alta prioridad.
   • DR2: Habilitar un "inicio sin conjuntos de datos", permitiendo que la evaluación incorpore datos de pruebas manuales sin requerir conjuntos de datos preexistentes.
   • DR3: Proporcionar educación mediante orientación ligera y plantillas.

Contribuciones Clave: El Plugin AI Toolkit
Los autores presentan el AI Toolkit, un plugin para los IDEs de JetBrains (inicialmente lanzado para PyCharm) que integra la observabilidad y la evaluación directamente en el entorno principal del desarrollador. El kit de herramientas consta de dos componentes principales:

1. Depurador de Agentes de IA (Rastreo y Observabilidad):

   • Mecanismo: Utiliza una arquitectura cliente-servidor. Un envoltorio ligero de Python intercepta eventos del framework (específicamente LangChain y LangGraph) mediante callbacks, los serializa y los transmite a un servidor local del lado del IDE a través de TCP.
   • Flujo de trabajo: El rastreo se activa automáticamente cuando el usuario hace clic en "Ejecutar" o "Depurar". El plugin detecta proyectos de IA indexando las importaciones de langchain o langgraph.
   • Visualización: Renderiza una vista de rastreo jerárquica y un gráfico de ejecución. A diferencia de las cargas completas de callbacks verbosas, predomina una "Vista bonita" que muestra solo campos con señales (por ejemplo, herramientas invocadas, últimos mensajes del LLM) para mantener una narrativa legible. También muestra el tiempo de ejecución y el uso de tokens para el perfilado.

2. Evaluación de IA (Flujo de trabajo similar a pruebas unitarias):

   • Concepto: Modela la evaluación como pruebas unitarias. Los desarrolladores declaran puntos de datos como casos de prueba y los ejecutan contra la versión actual del código sin modificar el código en sí.
   • Curación de Conjuntos de Datos: Una característica clave es la capacidad "Agregar al conjunto de datos". Los desarrolladores pueden promover un rastreo capturado directamente a un conjunto de datos. Las entradas se extraen automáticamente y las salidas de referencia son editables.
   • Ejecución: El kit de herramientas instrumenta el proceso de Python al iniciar (mediante la modificación de los límites de E/S) para propagar las entradas del conjunto de datos al sistema. Captura el rastreo de ejecución y extrae las salidas generadas basándose en rutas JSON configuradas.
   • Puntuación: Las evaluaciones utilizan métricas configurables, incluidas métricas estándar, "LLM como juez" y código personalizado. Los resultados se presentan en una ventana de herramientas análoga a un ejecutor de pruebas unitarias, mostrando estadísticas agregadas (puntuación promedio, uso de tokens, tiempo cronológico).
   • Persistencia: Los conjuntos de datos y los artefactos se almacenan como archivos de proyecto (YAML), lo que permite el control de versiones, la comparación de diferencias y el intercambio.

Resultados y Señales de Adopción Temprana
El artículo reporta telemetría inicial de un período de cuatro semanas posterior al lanzamiento de PyCharm 2025.2:

• Alcance: El plugin adquirió 970 nuevos usuarios.
• Conversión: Un mensaje emergente que aparecía después de hacer clic en "Ejecutar" en proyectos de LangGraph logró una tasa de instalación del 58%, generando un tercio de todos los nuevos usuarios.
• Activación: El 40% de los usuarios que instalaron a través del mensaje emergente capturaron su primer rastreo. Sin embargo, la activación fue menor (12%) para los usuarios que llegaron a través de la pestaña "Qué hay de nuevo", principalmente porque el lanzamiento inicial solo admitía LangGraph y muchos usuarios no utilizaban ese framework.
• Retención: Para la cuarta semana, el 26% de todos los instaladores permaneció activo. Entre los desarrolladores que realmente ejecutaron código en PyCharm, la retención aumentó al 40%. La tasa de abandono (desinstalación/deshabilitación) se mantuvo baja entre el 10% y el 15%.
• Conclusión Clave: Los datos sugieren que los flujos de trabajo nativos del IDE y activados por la ejecución son legibles y valiosos. La principal barrera para la adopción es actualmente la cobertura de frameworks en lugar de la intención del desarrollador.

Significado y Afirmaciones
El artículo afirma que integrar la observabilidad y la evaluación de IA en el IDE reduce la "energía de activación" requerida para que los desarrolladores adopten prácticas disciplinadas de desarrollo de IA. Al encontrar a los desarrolladores en su flujo de trabajo existente (el bucle Ejecutar/Depurar) en lugar de exportarlos a consolas externas, el kit de herramientas hace que el desarrollo moderno de IA sea accesible para especialistas no en ML, preservando al mismo tiempo las prácticas de ingeniería de software.

Los autores argumentan que este enfoque transforma la rutina informal de "probar–mirar" en un ciclo disciplinado de rastrear → inspeccionar → curar al conjunto de datos → evaluar. Plantean que estandarizar los esquemas de rastreo y tratar las evaluaciones como pruebas de primera clase dentro del IDE puede cerrar la brecha entre las herramientas nativas de IA y la comunidad más amplia de ingeniería de software.

Limitaciones
Los autores reconocen varias limitaciones:

• Cobertura Estrecha: Los resultados iniciales se basan únicamente en el soporte de LangGraph, lo que probablemente subestima la demanda real.
• Ventana Corta: Las métricas cubren solo las primeras cuatro semanas de un único lanzamiento con una muestra de aproximadamente 1.000 usuarios.
• Sesgo del IDE: El estudio se limita a usuarios de PyCharm, excluyendo a una gran parte de la base de desarrolladores que utilizan otros IDEs como VS Code.

Futuras Direcciones
Los autores describen planes para ampliar la cobertura de frameworks para incluir Koog de Kotlin, PydanticAI y el SDK de Python de OpenAI. También tienen la intención de monitorear el uso de las funciones de Evaluación de IA para guiar futuras mejoras de UX y una integración más estrecha entre los módulos de depurador y evaluación.