Resumen Técnico: Imaging-101

Declaración del Problema

La imagen computacional, el proceso de recuperar señales ocultas a partir de mediciones indirectas, ruidosas e incompletas, es fundamental para el descubrimiento cuantitativo en diversas disciplinas científicas que van desde la astronomía hasta la medicina. Sin embargo, construir un pipeline de reconstrucción correcto es laborioso y requiere una profunda experiencia en el dominio para gestionar la limpieza de datos, el modelado de la física de vanguardia, la selección de algoritmos y la depuración iterativa. Si bien los Modelos de Lenguaje Grande (LLM) han demostrado competencia en la codificación general y en partes del flujo de trabajo científico, sigue siendo una pregunta abierta si los modelos de frontera pueden resolver de manera confiable tareas de imagen computacional de extremo a extremo. Estas tareas requieren el razonamiento conjunto de procesos de medición física, formulaciones matemáticas y resolvedores numéricos, traduciéndolos en código ejecutable que supere una estricta verificación numérica. Los benchmarks existentes suelen fallar al no exponer los modos de fallo específicos inherentes a los problemas inversos científicos, tales como errores sutiles de convenciones físicas o la selección inapropiada de un solver.

Metodología

Para abordar esta brecha, los autores introducen Imaging-101, un benchmark que comprende 57 tareas de imagen computacional verificadas por expertos que abarcan seis dominios científicos: astronomía, biología, química y ciencia de materiales, ciencias de la tierra, medicina y física.

Construcción del Benchmark

El benchmark se construye mediante un pipeline con expertos en el bucle diseñado para garantizar la autenticidad científica y la reproducibilidad:

1. Fundamentación de Fuentes: Cada tarea se deriva de un artículo revisado por pares y su implementación de referencia de código abierto.
2. Estandarización: Las tareas se canonicalizan en un pipeline estandarizado de cuatro etapas:
   • Preprocesamiento: Conversión de mediciones brutas a una forma compatible con el modelo de vanguardia (forward model).
   • Modelado de Física de Vanguardia: Implementación del operador de vanguardia $A$ (y frecuentemente su adjunto $A^*$).
   • Solver Inverso: Elección y ejecución de un algoritmo de inversión para recuperar la cantidad latente.
   • Visualización: Renderizado de la señal reconstruida.
3. Verificación: Expertos en el dominio (nivel PhD) validan la reproducción de las ejecuciones de referencia frente a las publicaciones originales. El pipeline utiliza asistencia de IA (Claude Code) para la refactorización y la síntesis de pruebas unitarias, pero los expertos mantienen la autoridad final sobre la corrección.
4. Métricas de Evaluación: Las tareas se califican utilizando tolerancias numéricas calibradas. El éxito de extremo a extremo se mide mediante la Correlación Cruzada Normalizada (NCC) y el Error Cuadrático Medio Normalizado (NRMSE), que son robustos a la escala de amplitud global, a diferencia de PSIM o SSIM.

Tracks de Evaluación

Imaging-101 emplea tres tracks de evaluación complementarios para sondear distintas capacidades de los agentes:

1. Planificación: Los agentes generan un plan estructurado (descripción del algoritmo y diseño de módulos) basado en el enunciado del problema. La corrección es juzgada por expertos en el dominio frente a los planes de referencia.
2. Nivel de Función: Los agentes implementan funciones específicas dentro del pipeline. La corrección se determina mediante el paso de una suite de pruebas unitarias pytest con tolerancias numéricas estrictas (deterministas vs. estocásticas).
3. Extremo a Extremo (End-to-End): Los agentes generan el código completo del pipeline, lo ejecutan y producen una reconstrucción. El éxito se define por cumplir con los umbrales de calidad de imagen (NCC/NRMSE) respecto a la referencia.

Contribuciones Clave

• Benchmark Imaging-101: Una colección de 57 tareas fundamentadas en literatura revisada por pares, que soportan la evaluación de planificación, nivel de función y extremo a extremo a través de seis dominios científicos.
• Pipeline de Construcción Supervisado por Expertos: Una metodología que canonicaliza artículos de investigación en un diseño estandarizado de cuatro etapas, permitiendo tareas de benchmark escalables, reproducibles y verificables mediante ejecución.
• Caracterización Empírica de Modos de Fallo: El trabajo proporciona evidencia de brechas de capacidad específicas en los LLM actuales cuando se aplican a la imagen computacional científica, distinguiéndolas de los errores encontrados en los benchmarks de codificación general.

Resultados

Los autores evaluaron siete LLM de frontera (incluyendo Claude-4.6-Opus, GPT-5.4 y DeepSeek-V3) en las 57 tareas.

Rendimiento Cuantitativo

• Planificación: GPT-5.4 y Kimi-k2.5 lograron las tasas de aprobación general más altas (~52.6%), seguidos de cerca por Claude-4.6-Opus (50.9%). El preprocesamiento fue la dimensión de planificación más difícil (tasa media de aprobación del 67.9%), mientras que la selección del solver inverso fue la más fácil (88.5%).
• Nivel de Función: El rendimiento disminuyó significamente en la etapa de implementación. La tasa de aprobación de módulos general (que requiere que todas las funciones de un módulo pasen) osciló entre el 1.8% y el 22.8% entre los modelos. Los solvers inversos fueron los más difíciles de implementar correctamente (tasa media de aprobación de módulos del 30.6%).
• Extremo a Extremo: El modelo con mejor desempeño, Claude-4.6-Opus, alcanzó una tasa de éxito del 29.8%. GPT-5.4 le siguió con un 19.3%. Un agente de caja negra (Claude Code) logró un 56.1%, lo que sugiere que las capacidades de ejecución más ricas (por ejemplo, instalación de paquetes sin restricciones, retroalimentación de la shell) mejoran significamente el rendimiento.

Análisis de Modos de Fallo

La evaluación reveló modos de fallo sistemáticos distintos de los errores de codificación general:

1. Fallos de Razonamiento Científico: Los errores dominantes no fueron errores de sintaxis superficiales, sino fallos en el razonamiento científico.
   • Desalineación entre Medición y Física: Los agentes a menudo omitieron pasos críticos de preprocesamiento, como convertir la intensidad del sensor ($1/r^4$) a la amplitud del campo de onda ($1/r$) en la imagenología de no línea de visión.
   • Selección de Solver Inapropiada: Los modelos frecuentemente sustituyeron solvers especializados acoplados a la física (por ejemplo, qNewton-PIE para la ptychografía de Fourier) por optimizadores genéricos (por ejemplo, Adam), citando heurísticas generales que ignoraban la estructura específica del problema inverso.
2. Deriva de Convenciones Numéricas: El error de código más común (42.1% de los fallos) involucró el uso de signos, escalas, orden de ejes o convenciones de normalización incorrectos (por ejemplo, omitir la normalización de bobina MVUE en MRI). Estos errores produjeron código estructuralmente válido que pasaba las verificaciones visuales pero fallaba en las pruebas de paridad numérica estrictas.
3. No Completitud del Agente: El 28.2% de los fallos ocurrieron porque los agentes agotaron sus presupuestos de reflexión sin producir código, a menudo al tratar con librerías especializadas (por ejemplo, ehtim, deepwave), lo que indica un cuello de botella en la familiarización con la API más que en el razonamiento matemático.

Significado

El artículo argumenta que, si bien los LLM muestran promesa en los flujos de trabajo científicos, actualmente carecen de la confiabilidad requerida para la imagen computacional autónoma. Los hallazgos resaltan que la "materia oscura" de estos pipelines —el conocimiento tácito del dominio respecto a las convenciones de unidades, factores de normalización y el acoplamiento entre la medición y el modelo— no se captura explícitamente en las especificaciones escritas y es sistemáticamente omitido por los modelos actuales.

Los autores concluyen que cerrar esta brecha requiere ir más allá de los agentes de codificación general hacia agentes especializados en el dominio y aumentados por habilidades. Proponen que codificar el conocimiento tácito en módulos reutilizables y verificados (librerías de habilidades) es un camino práctico hacia una asistencia científica confiable. Imaging-101 sirve como un benchmark fundacional para rastrear el progreso en esta dirección, enfatizando que la verdadera confiabilidad en la computación científica demanda más que la simple generación de código; requiere una adherencia fiel a las leyes físicas y la precisión numérica.