Repair Evidence Resolution: Separating Prediction, Structural Resolution, and Transfer in Automated Patch Correctness Assessment

En el mundo de la ingeniería de software, las computadoras están escribiendo cada vez más su propio código para corregir errores. Este campo, conocido como reparación automática de programas, funciona generando miles de posibles soluciones para un programa defectuoso y luego probándolas contra un conjunto de reglas para ver cuáles funcionan. Sin embargo, un problema persistente ha plagado este proceso durante mucho tiempo: una corrección puede pasar todas las pruebas que se le dan a la computadora y, aun así, ser fundamentalmente errónea. Esto se llama sobreajuste (overfitting), donde una solución se adapta demasiado perfectamente a las pruebas específicas que enfrenta pero no aborda realmente el error subyacente. Para resolver esto, los investigadores han construido herramientas que actúan como jueces, intentando predecir qué muchas de las correcciones generadas son verdaderamente correctas y cuáles son simplemente afortunadas. Durante años, el éxito de estos jueces se ha medido por qué tan seguido obtienen la respuesta correcta, de forma muy similar a calificar a un estudiante en un examen de opción múltiple. Pero este enfoque pasa por alto una pregunta más profunda: incluso si un juez es bueno adivinando, ¿contiene realmente la información que ve las pistas necesarias para distinguir entre una corrección acertada y una errónea?

Un nuevo estudio de Mohammad Amir Khusru Akhtar, de la Universidad Usha Martin, cambia el enfoque de qué tan bien adivina un juez a si la evidencia disponible para ese juez es siquiera capaz de realizar la distinción correcta. El investigador introduce un marco llamado Resolución de Evidencia de Reparación, que trata la información visible para la computadora como una colección de grupos. La idea central es verificar si algún grupo individual contiene tanto una corrección correcta como una incorrecta que se vean exactamente iguales para la computadora. Si tal grupo existe, ninguna cantidad de adivinación ingeniosa podrá jamás separarlas, porque la computadora no tiene forma de distinguirlas. Esto no se trata de la inteligencia del algoritmo, sino de los límites de los datos mismos. El estudio pregunta si las señales específicas utilizadas para evaluar las correcciones son lo suficientemente detalladas como para separar las respuestas correctas de las erróneas, y si el pequeño conjunto de ejemplos utilizados en la investigación es suficiente para demostrar que los datos son suficientes para el universo mucho más grande de todas las posibles correcciones.

Para investigar esto, el investigador analizó una gran colección de datos disponibles públicamente de una conferencia de ingeniería de software de 2020. Este conjunto de datos contenía 1,762 registros de correcciones de programas generados por dos herramientas diferentes de automatización. Cada registro incluía una etiqueta que indicaba si la corrección era correcta o incorrecta, junto con dos tipos diferentes de descripciones numéricas, o canales de evidencia, que una computadora utiliza para entender la corrección. El investigador escribió un programa de computadora para agrupar estas correcciones basadas en sus descripciones. Si dos correcciones tenían la misma descripción exacta, se colocaban en el mismo cubo. El programa luego revisó cada cubo para ver si contenía una mezcla de correcciones correctas e incorrectas. Si un cubo contenía ambas, significaba que la evidencia era insuficiente para distinguirlas, creando un punto ciego para cualquier juez.

El análisis reveló una clara diferencia entre los dos tipos de evidencia. Cuando el investigador observó el primer tipo de descripción por sí solo, encontró nueve grupos que contenían una mezcla confusa de correcciones correctas e incorrectas. Estos nueve grupos involucraban 43 parches, representando una brecha pequeña pero significativa en la capacidad de distinguir la verdad del error. Sin embargo, cuando el investigador examinó el segundo tipo de descripción, o cuando combinó ambos tipos de información, esos grupos confusos desaparecieron. En la vista combinada, cada uno de los grupos contenía solo correcciones correctas o solo correcciones incorrectas. Esto significa que el segundo tipo de evidencia, o la combinación de ambos, proporcionó una separación estructural completa de la que carecía el primer tipo. El estudio demuestra que tener simplemente un mejor modelo de predicción no es suficiente; los datos subyacentes deben primero ser capaces de separar los dos resultados.

Quizás el hallazgo más sorprendente se refiere a qué tan fácilmente pueden ser engañados los investigadores por los tamaños de muestra pequeños. El estudio calculó la probabilidad de que una selección más pequeña y aleatoria de estas correcciones pareciera ser perfectamente resoluble, a pesar de que la colección completa no lo fuera. Para una muestra de solo 100 correcciones, la probabilidad de que pareciera que la evidencia era perfecta —ocultando todos los grupos confusos— era del 91.29%. Incluso con una muestra de 400 correcciones, todavía había un 34% de probabilidad de que la confusión permaneciera oculta. Solo cuando el tamaño de la muestra alcanzó las 800, la probabilidad de omitir el problema cayó por debajo del 2.5%. Esto demuestra que un investigador podría fácilmente probar una nueva herramienta en un conjunto pequeño de datos, encontrar que funciona perfectamente, y concluir falsamente que la evidencia es suficiente, todo mientras la población más grande de correcciones sigue llena de errores indetectables.

El artículo no afirma que estos hallazgos resuelvan el problema de la reparación automática o que el conjunto de datos específico represente cada posible error de software. En cambio, establece una nueva forma de auditar la calidad de la evidencia misma. Muestra que antes de preguntar si una computadora es lo suficientemente inteligente para juzgar una corrección, debemos preguntar si la información que se le da es lo suficientemente detallada como para hacer posible el juicio. El estudio confirma que añadir más tipos de evidencia puede resolver conflictos estructurales que un solo tipo no puede, y advierte que los conjuntos de prueba pequeños pueden dar una falsa sensación de seguridad. Al separar la pregunta de la predicción de la pregunta de la resolución de la evidencia, la investigación proporciona un camino más claro para evaluar qué tan bien las herramientas automatizadas pueden realmente entender el código que intentan reparar.