💻 computer science

Towards Improving the External Validity of Software Engineering Experiments with Transportability Methods

Este artículo presenta una visión sobre la adopción de métodos de transportabilidad en la ingeniería de software para combinar datos experimentales y observacionales, con el fin de mejorar la validez externa de los experimentos y generar resultados más fiables y aplicables a la población objetivo.

Autores originales: Julian Frattini, Richard Torkar, Robert Feldt, Carlo Furia

Publicado 2026-04-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Julian Frattini, Richard Torkar, Robert Feldt, Carlo Furia

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Título: Cómo llevar los resultados de un experimento de "clase" al "mundo real" en Ingeniería de Software

Imagina que eres un chef que quiere probar una nueva receta de pastel. Para asegurarte de que sabe bien, decides hacer una prueba de sabor. Pero aquí está el problema: solo tienes tiempo y dinero para invitar a estudiantes de cocina que están aprendiendo, no a los chefs profesionales que trabajan en los mejores restaurantes de la ciudad.

Haces la prueba con los estudiantes. Ellos dicen: "¡Este pastel es increíble! ¡Es el mejor que hemos probado!".

Aquí surge la duda: ¿Será este pastel tan increíble para los chefs profesionales? Quizás los estudiantes, al ser novatos, se emocionan más con cualquier cosa, mientras que los expertos son más críticos. Si publicas tu resultado diciendo "¡Este pastel es perfecto para todos!", podrías estar mintiendo sin querer.

En el mundo de la Ingeniería de Software, pasa exactamente lo mismo. Los investigadores hacen experimentos controlados (como tu prueba de pastel) pero a menudo usan estudiantes o proyectos pequeños porque es más fácil y barato. Luego, intentan decirle a las grandes empresas de software: "¡Miren, nuestra nueva herramienta funciona genial!". Pero las empresas dicen: "¿Funciona igual con nuestros ingenieros veteranos y sistemas complejos?".

Este artículo propone una solución mágica llamada "Métodos de Transportabilidad".

¿Qué es la "Transportabilidad"? (La analogía del traductor)

Imagina que tienes un mapa dibujado en un papel muy pequeño (los datos de tu experimento con estudiantes) y quieres saber cómo se ve el territorio completo (la población real de ingenieros).

Los métodos de transportabilidad son como un traductor inteligente o un puente. Te permiten tomar los resultados que obtuviste con tu grupo pequeño y limitado, y "transportarlos" al grupo grande y diverso, corrigiendo los errores que surgieron porque tu grupo no era perfecto.

Para que este puente funcione, necesitas tres cosas:

Saber qué cambia las cosas (Los "Modificadores"): Debes identificar qué factores hacen que el resultado sea diferente. En nuestro ejemplo, el factor es la "Experiencia". Un pastel puede gustar más a un novato que a un experto. En software, la experiencia de un programador puede hacer que una herramienta nueva le parezca un milagro o una pérdida de tiempo.
Tener un mapa del mundo real (Datos Observacionales): Necesitas tener datos sobre cómo se distribuye la experiencia en el mundo real. No necesitas hacer un experimento nuevo con miles de personas; puedes usar datos que ya existen (como encuestas, registros de empresas, o bases de datos públicas) para saber: "¿Cuántos ingenieros novatos hay? ¿Cuántos expertos? ¿Cuántos tienen 5 años de experiencia?".
La fórmula mágica (El algoritmo): Usas matemáticas avanzadas (como la "reponderación") para decir: "Oye, en mi experimento tuve muchos novatos y pocos expertos. Pero en el mundo real hay muchos más expertos. Así que, voy a darle más peso a los resultados de los pocos expertos que tuve, y menos peso a los novatos, para que el resultado final refleje la realidad".

¿Qué descubrieron con una simulación?

Los autores del artículo hicieron un experimento virtual (como un videojuego) para probar si esto funcionaba.

El escenario: Crearon una población virtual de 1,000 ingenieros (desde novatos hasta veteranos).
El problema: Solo pudieron "recrutar" a 175 para su experimento, y la mayoría eran novatos (porque es más fácil encontrarlos).
La prueba: Usaron una nueva herramienta de Inteligencia Artificial para revisar código.
El resultado sin ayuda: Si solo miraban los datos de los novatos, pensaban que la herramienta era increíblemente buena (sobrestimaban el éxito).
El resultado con "Transportabilidad": Usando los datos del mundo real y las fórmulas mágicas, lograron corregir el error. El resultado final fue mucho más cercano a la verdad: la herramienta era buena, pero no tan milagrosa como pensaban los novatos.

¿Por qué es importante esto para el futuro?

Hasta ahora, los investigadores de software tenían dos opciones:

Hacer experimentos perfectos con expertos (muy caros y difíciles).
Hacer experimentos fáciles con estudiantes y asumir que los resultados sirven para todos (arriesgado y a veces falso).

Con estos métodos, pueden hacer lo mejor de los dos mundos:

Hacen el experimento con estudiantes (fácil).
Recogen datos sobre la experiencia real de los ingenieros (fácil, porque ya existen).
Usan la "transportabilidad" para ajustar los resultados.

En resumen:
Este artículo es una invitación a ser más inteligentes con nuestros datos. No necesitas tener a todos los ingenieros del mundo en tu laboratorio para saber si tu idea funciona. Solo necesitas entender quién está en tu laboratorio, quién está en el mundo real, y usar las matemáticas correctas para traducir los resultados de uno al otro.

Así, la ciencia del software puede dejar de ser solo "teoría de estudiantes" y convertirse en una guía real y útil para las empresas que construyen el software que usamos todos los días.

Título: Hacia la mejora de la validez externa de los experimentos en Ingeniería de Software mediante métodos de transportabilidad

1. El Problema

Los experimentos controlados son un método fundamental en la Ingeniería de Software (IS) para validar relaciones causales. Sin embargo, enfrentan un dilema crítico entre la validez interna y la validez externa:

Dificultad de muestreo: Recrutar una muestra representativa de la población objetivo (profesionales de la IS) es costoso y difícil.
Sesgo de muestra: Como consecuencia, los investigadores a menudo dependen de muestras pequeñas o de participantes con poca experiencia (como estudiantes universitarios).
Cambio de covariables (Covariate Shift): Esto genera una discrepancia entre la distribución de las características de la muestra experimental y la población real. Si una covariable (ej. años de experiencia) modera el efecto del tratamiento y su distribución cambia, los resultados del experimento no se generalizan correctamente a la población objetivo, comprometiendo la utilidad práctica de la investigación.
Falta de adopción: Aunque existen métodos estadísticos para combinar datos experimentales y observacionales (transportabilidad), no han sido adoptados en la comunidad de IS.

2. Metodología

El artículo propone la adopción de métodos de transportabilidad del campo de la inferencia causal estadística. Estos métodos permiten "transportar" los resultados de un experimento controlado (muestra pequeña) a una población objetivo más amplia utilizando datos observacionales existentes (grandes conjuntos de datos de repositorios, encuestas, etc.).

Supuestos y Precondiciones:
Para que estos métodos funcionen, deben cumplirse siete supuestos (A1-A7), siendo los tres últimos específicos de la transportabilidad:

A5 (Ignorabilidad de la muestra para efectos del tratamiento): El efecto del tratamiento es independiente de la elegibilidad para el ensayo una vez controladas todas las covariables relevantes.
A6 (Transportabilidad del ATE condicional): El Efecto Promedio del Tratamiento (ATE) condicional a una covariable específica es el mismo en la muestra experimental y en la población objetivo.
A7 (Positividad): Toda subpoblación de la población objetivo debe tener una probabilidad no nula de ser incluida en el experimento (es decir, no debe haber "huecos" en el rango de las covariables).

Técnicas de Estimación:
El paper explora dos clases de fórmulas de identificación para recuperar el ATE real ( $\tau$ ) a partir del ATE del ensayo ( $\tau_1$ ) y la distribución de covariables ( $X$ ) en la población objetivo:

Reponderación (Reweighting): Utiliza la Ponderación Inversa de la Probabilidad de Muestreo (IPSW). Pesa los puntos de datos del experimento basándose en su "elegibilidad" para corregir el sesgo de la muestra.
Regresión (Plug-in g-formula): Ajusta modelos de regresión separados para los grupos de control y tratamiento utilizando las covariables, y luego aplica estos modelos a la distribución de la población objetivo para estimar el ATE.

3. Contribuciones Clave

Los autores presentan cuatro contribuciones principales para facilitar la adopción de estas técnicas en IS:

Descripción técnica: Una explicación de alto nivel de los métodos de transportabilidad y sus precondiciones necesarias.
Simulación de validación: Un experimento computacional que demuestra la utilidad de los métodos.
Casos de uso: Identificación de escenarios específicos en IS donde estos métodos son aplicables.
Hoja de ruta: Una guía práctica para que los investigadores implementen estos métodos.

4. Resultados de la Simulación

Los autores realizaron una simulación donde:

Escenario: Se simuló una población objetivo de 1000 sujetos con una distribución de experiencia ( $X$ ) no uniforme. Se extrajo una muestra experimental sesgada hacia sujetos con baja experiencia (estudiantes), donde el efecto de una herramienta de IA generativa era artificialmente alto.
Métodos comparados: Se compararon cuatro enfoques para estimar el ATE real:
1. Diferencia de medias (basado).
2. Regresión lineal con término de interacción.
3. Estimador IPSW (transportabilidad).
4. Fórmula g-formula (transportabilidad).
Hallazgos:
- La diferencia de medias sobreestimó drásticamente el efecto real debido al sesgo de la muestra.
- La regresión lineal mejoró, pero aún sobreestimó porque asumió una interacción lineal incorrecta.
- Los métodos de transportabilidad (especialmente la g-formula) lograron recuperar con precisión el ATE real (16.7), corrigiendo el sesgo al utilizar la distribución de covariables de la población objetivo.
- El estimador IPSW fue preciso en la media pero mostró una mayor incertidumbre (varianza) en comparación con la g-formula.

5. Escenarios de Aplicación en IS

El paper identifica tres áreas donde la transportabilidad es crucial:

Experiencia de los participantes: Resolver el debate sobre si los estudiantes son sustitutos válidos de los profesionales. Se pueden usar datos observacionales de la industria para ajustar los resultados obtenidos con estudiantes.
Propiedades del sistema: Ajustar resultados obtenidos en sistemas pequeños o artificiales (bugs inyectados) para generalizarlos a sistemas industriales complejos.
Complejidad de la tarea: Corregir resultados de tareas experimentales simplificadas para inferir su validez en escenarios de práctica real con mayor complejidad.

6. Significado y Hoja de Ruta

La adopción de la transportabilidad transformaría la práctica experimental en IS:

Mejora de la Validez Externa: Permite generar resultados más fiables y útiles para la práctica sin necesidad de costosos reclutamientos masivos de profesionales.
Nuevas Directrices:
- Identificar moderadores: Los investigadores deben definir explícitamente qué covariables (ej. experiencia, dominio) moderan los efectos causales.
- Operacionalización: Definir métricas robustas para estas covariables (ej. cómo medir "experiencia" más allá de los años).
- Recopilación de datos observacionales: La comunidad debe esforzarse en recolectar distribuciones de covariables de la población objetivo (mediante encuestas o minería de datos) para usarlas en la corrección.
- Diseño de experimentos: Se sugiere que, en lugar de reclutar solo estudiantes, es más eficiente reclutar una pequeña muestra diversa (incluyendo algunos expertos) para cumplir con la precondición de positividad (A7), y luego usar la transportabilidad para ajustar el resto.

Conclusión:
El artículo argumenta que la transportabilidad es una herramienta poderosa para cerrar la brecha entre la investigación académica y la práctica industrial en Ingeniería de Software, permitiendo que los experimentos controlados, incluso con muestras limitadas, produzcan evidencia causal generalizable y robusta.