Resumen Técnico: ConformalFL

Planteamiento del Problema

La Localización de Fallos Basada en el Espectro (SBFL) genera una clasificación de líneas de código ejecutables basada en la cobertura de pruebas, pero no logra proporcionar al desarrollador un criterio de parada concreto. Los desarrolladores deben decidir cuántas líneas inspeccionar antes de abandonar la clasificación, una decisión complicada por las vastas diferencias en el tamaño del programa, el soporte de pruebas, la concentración de puntuaciones y los empates exactos en las puntuaciones. Los enfoques existentes suelen depender de políticas fijas de Top-N o heurísticas no calibradas que ignoran estas realidades operativas y no ofrecen una garantía formal sobre el riesgo de omitir un fallo.

El artículo aborda la necesidad de un método que traduzca un "riesgo de omisión marginal" seleccionado por el usuario (por ejemplo, "estoy dispuesto a omitir el fallo el 10% de las veces") en un conjunto de inspección adaptado al error específico. El objetivo es proporcionar un conjunto de candidatos auditable y completo en cuanto a empates que contenga al menos una línea defectuosa mapeada con una probabilidad garantizada, sin asumir que el método mejora la calidad del ranking de SBFL subyacente.

Metodología

El método propuesto, ConformalFL, aplica Regresión de Cuantiles Conformalizada (CQR) para predecir el punto de corte de la inspección para un error específico basado en sus características de espectro previas al fallo.

1. Formulación del Objetivo

El método define el objetivo de predicción como la posición de entrada normalizada del primer grupo de puntuación defectuoso ($y_{entry}$).

• Lógica Operativa: Los candidatos se ordenan por puntuación SBFL decreciente. Los empates exactos forman grupos de puntuación. El método predice una fracción $b_i$ y calcula un índice de corte $k_i$. El conjunto de candidatos resultante incluye todas las líneas con puntuaciones mayores o iguales a la puntuación en la posición $k_i$.
• Gestión de Empates: Para asegurar que el conjunto sea "completo en empates" (tie-complete), si el punto de corte cae dentro de un grupo de empate, se incluye el grupo completo. El objetivo es el punto de entrada del grupo de empate defectuoso, no el final, para evitar el doble conteo innecesario de la expansión de empates.

2. Pipeline de Predicción

• Vector de Características: El modelo utiliza 20 características disponibles antes de que se revele el fallo, incluyendo el tamaño del código, métricas de pruebas/cobertura y 12 características de distribución de las puntuaciones de Ochiai (momentos, entropía, brechas, conteos de empates, etc.). La identidad del proyecto y la ubicación del fallo se excluyen del modelo primario.
• Regresión de Cuantiles: Un regresor de gradiente potenciado estima el cuantil superior condicional ($bq_{1-\alpha}$) del objetivo $y_{entry}$ dado las características $x_i$.
• Corrección Conformal: Para lograr garantías de cobertura marginal en muestras finitas, el método utiliza un conjunto de calibración mantenido aparte. Calcula residuos unidireccionales ($r_i = y_{entry, i} - bq_{1-\alpha}(x_i)$) y aplica una corrección basada en el cuantil $(1-\alpha)$ de estos residuos.
• Punto de Corte Final: El presupuesto final es la suma del cuantil predicho y la corrección conformal, recortado al intervalo $[0, 1]$. Si el tamaño de la muestra de calibración requerida es insuficiente (por ejemplo, para objetivos de alta cobertura con conjuntos de datos pequeños), el método recurre por defecto a un resultado de "sin compresión" (inspección total), señalando explícitamente que el nivel de riesgo solicitado no es compatible.

3. Diseño Experimental

• Conjunto de Datos: Un universo fijo de 395 errores históricos de Defects4J (Java), reducido a 248 errores "con candidato presente" (aquellos con al menos una línea ejecutable defectuosa mapeada y tanto pruebas que pasan como que fallan).
• Protocolo: 3as divisiones estratificadas por proyecto (60% entrenamiento, 20% calibración, 20% prueba).
• Comparadores:
  • GBR: El regresor de cuantiles de gradiente potenciado no calibrado.
  • Conformal Global: Un punto de corte constante independiente de las características derivado de los objetivos de calibración.
  • Políticas Fijas: Políticas de Top-N y de porcentaje fijo pre-registradas (por ejemplo, Top-10%).
• Pruebas de Estrés: Evaluaciones de proyecto mantenido aparte (Leave-One-Project-Out), cronológica (desplazamiento temporal) y de lenguaje cruzado (transferencia a Python/BugsInPy).

Resultados Clave

Evaluado en un nivel de cobertura nominal del 90%:

1. Cobertura vs. Carga de Trabajo:

   • ConformalFL (CQR): Logró un 91.8% de cobertura media inspeccionando el 30.2% de los candidatos ejecutables (mediana de 508.5 líneas).
   • No Calibrado (GBR): Logró un 87.6% de cobertura con un 15.6% de inspección.
   • Conformal Global: Logró un 91.8% de cobertura pero requirió un 44.2% de inspección.
   • Top-10% Fijo: Logró un 90.1% de cobertura con un 28.3% de inspección.

2. Valor de la Calibración:

   • La calibración añadió aproximadamente 4.2 puntos porcentuales de cobertura sobre el GBR no calibrado, pero a un coste de +14.7 puntos porcentuales en el esfuerzo de inspección.
   • Comparado con el punto de corte constante de Conformal Global, CQR mantuvo la misma cobertura media mientras reducía la inspección en 14.0 puntos porcentuales, demostrando el valor de los puntos de corte adaptados al error sobre los estáticos.

3. Distribución de la Carga de Trabajo:

   • La distribución de la carga de trabajo está altamente sesgada. Mientras que la mediana de inspección fue de ~508 líneas, la media fue de ~1,521 líneas debido a una cola pesada.
   • El 18.9% de los casos resultaron en "sin compresión" (inspección total) debido a que los empates de puntuación expandieron el conjunto de candidatos a todo el ranking. Esto ocurrió específicamente cuando el punto de corte caía en un límite de puntuación cero.

4. Pruebas de Estrés:

   • Desplazamiento de Proyecto: La cobertura varió según el proyecto (85.7%–100%), y las muestras de calibración pequeñas (por ejemplo, 5 errores) resultaron en resultados vacuos (100% de inspección).
   • Transferencia de Lenguaje: Al transferirse a Python (BugsInPy) sin reentrenamiento, CQR mantuvo una alta cobertura empírica (98.3%) pero sufrió una degradación severa en la carga de trabajo, inspeccionando un 66.9% de las sentencias en promedio, con un 53.3% de los casos requiriendo inspección total.

Significancia y Reivindicaciones

El artículo realiza reivindicaciones modestas y específicas respecto a la contribución de ConformalFL:

• Control de Riesgo Auditable: La contribución principal es un mapeo auditable de un riesgo de omisión solicitado a un conjunto de inspección adaptado al error y completo en cuanto a empates. Proporciona una garantía formal de cobertura marginal bajo la suposición de intercambiabilidad entre los errores de calibración y los de despliegue.
• No hay Dominancia Universal: El artículo establece explícitamente que ConformalFL no domina empíricamente a las políticas fijas bien elegidas (como Top-10%) en este benchmark. La política fija Top-10% se comportó de manera comparable en términos de cobertura y esfuerzo sin requerir calibración.
• Limitaciones:
  • El método no mejora la calidad del ranking de SBFL subyacente.
  • No garantiza la cobertura condicional para proyectos específicos o subpoblaciones.
  • No garantiza la validez bajo desplazamientos de distribución (por ejemplo, lenguaje cruzado o nuevos proyectos) donde la intercambiabilidad falla.
  • No mide el tiempo de depuración humana, ya que el recuento de líneas no equivale a los costes de cambio de contexto o al esfuerzo de comprensión.

Conclusión: ConformalFL ofrece una herramienta práctica para equipos con datos históricos de fallos para reemplazar las heurísticas no calibradas con una regla transparente que intercambia explícitamente el riesgo de omisión por el esfuerzo de inspección. Sin embargo, su utilidad está limitada por el requisito de datos de calibración representativos y el potencial de resultados de "sin compresión" cuando los empates de puntuación son prevalentes o las muestras de calibración son pequeñas.