Position: Every Ground Truth is a Human Construction, not an Objective Truth

Resumen Técnico: Toda Verdad de Referencia es una Construcción Humana, no una Verdad Objetiva

Planteamiento del Problema
El artículo aborda un malentendido fundamental en la investigación y el desarrollo del aprendizaje automático (ML): el tratamiento de los conjuntos de datos de "verdad de referencia" (ground truth) como mediciones neutrales, objetivas y preexistentes de la realidad. Los autores argumentan que las verdades de referencia no son hechos dados naturalmente, sino construcciones humanas resultantes de una compleja disposición de decisiones, tecnologías y procesos sociales. Esta omisión conduce al "encapsulamiento" (black-boxing) de decisiones críticas relativas a las fuentes de datos, las ontologías de etiquetado y los métodos de observación. En consecuencia, la comunidad de ML a menudo no logra reconocer la contingencia (la naturaleza de "podría haber sido de otra manera") de estos conjuntos de datos, lo que conduce a aplicaciones inapropiadas de los modelos, una sobreestimación de la precisión y una falta de transparencia respecto a los límites de la fiabilidad del modelo. El artículo destaca que tratar las verdades de referencia como verdades universales ignora su situacionalidad, lo que potencialmente causa impactos negativos severos cuando los modelos se despliegan en contextos diferentes a aquellos en los que los datos fueron construidos.

Metodología y Marco Analítico
En lugar de proponer un nuevo método algorítmico o realizar un experimento empírico específico, este artículo emplea un marco de análisis conceptual y crítico basado en los Estudios de Ciencia y Tecnología (STS) y el Trabajo Colaborativo Soportado por Computadora (CSCW). Los autores:

1. Reencuadran el Concepto: Adoptan la definición de Jaton (2017) de la determinación de la verdad de referencia (ground truthing) como una práctica de definición de problemas y objetivos, desplazando el enfoque de la "descubrimiento" hacia la "construcción".
2. Categorizan los Sitios de Construcción: Los autores analizan cuatro "sitios de construcción" distintos donde se generan las verdades de referencia para ilustrar la variabilidad del proceso de construcción:
   • Medición Directa: Incluso los datos basados en sensores implican elecciones respecto al equipo, la colocación, el tiempo y los metadatos.
   • Interpretación de Expertos: Las etiquetas de expertos (por ejemplo, en imágenes médicas) están sujetas a la variabilidad inter-experta e intra-experta, la negociación y el contexto específico de la formación e institución del experto.
   • Consenso de la Multitud (Crowd Consensus): El etiquetado mediante crowdsourcing implica métodos de agregación (por ejemplo, voto por mayoría) que a menudo oscurecen la variación humana del etiquetado (HLV, por sus siglas en inglés) y la subjetividad cultural.
   • Datos Sintéticos: Las simulaciones y la IA generativa crean "verdades conocidas" que son inherentemente fabricadas y dependen de los parámetros y modelos utilizados para generarlas.
3. Analizan la Comunicación y la Colaboración: El artículo examina la "construcción de sentido", argumentando que las verdades de referencia fiables requieren un entendimiento compartido y negociación entre los profesionales de ML, los expertos en el dominio y los etiquetadores, en lugar de una simple captura de datos.

Contribuciones Clave
El artículo realiza contribuciones teóricas y prácticas al discurso del ML:

• Cambio Teórico: Postula que las verdades de referencia son "situadas" y "contingentes", rechazando la noción de una verdad objetiva única y universal. Introduce el concepto de "fiabilidad situada", definida como una fiabilidad que es válida solo dentro de un contexto específico, en lugar de una métrica cuantitativa genérica.
• Deconstrucción del "Oráculo" y el "Sensor": Los autores desafían la visión de los expertos humanos como "oráculos" infalibles o "sensores" neutrales, demostrando que el etiquetado experto es un proceso social sujeto a negociación e incertidumbre.
• Identificación de Trayectorias de Construcción: Al mapear los puntos de decisión (por ejemplo, quién define la ontología, cómo se realizan las observaciones, qué fuentes se utilizan), el artículo proporciona un marco para comprender cómo diferentes trayectorias producen diferentes verdades de referencia para una misma tarea.
• Crítica de las Prácticas Actuales: El artículo critica la falta de vocabulario estándar y documentación sobre las limitaciones de la verdad de referencia, señalando que las prácticas actuales a menudo no logran capturar la procedencia y las elecciones de construcción que afectan el rendimiento del modelo.

Resultados y Hallazgos
Como artículo de posición, el trabajo no presenta resultados experimentales, sino que sintetiza la literatura existente y estudios de caso para demostrar las consecuencias de ignorar la naturaleza construida de las verdades de referencia:

• Deriva Contextual: El artículo cita ejemplos donde los conjuntos de datos de referencia (por ejemplo, MNIST, UCI Adult) se han aplicado mucho más allá de su contexto de construcción original, lo que lleva a conclusiones erróneas o caídas de rendimiento (por ejemplo, una caída del 47% en el rendimiento de un modelo de MRI debido a un preprocesamiento no documentado).
• Impacto de las Decisiones de Construcción: Ilustra cómo decisiones específicas, como la reducción de la resolución de imagen en MNIST debido a las limitaciones de hardware de la década de 1990, restringieron permanentemente las capacidades de los modelos posteriores.
• La Variación como Información: El análisis sugiere que la variación del etiquetado humano (HLV) suele tratarse como ruido a eliminar, cuando debería reconocerse como información relevante que refleja la complejidad del fenómeno que se está modelando.
• Necesidad Interdisciplinaria: Los hallazgos indican que la creación de verdades de referencia fiables requiere una colaboración interdisciplinaria, ya que los profesionales de ML a menudo no pueden interpretar los matices específicos del dominio requeridos para un etiquetado preciso.

Significancia y Reivindicaciones
Los autores afirman que reconocer las verdades de referencia como construcciones humanas es esencial para mejorar la fiabilidad, la transparencia y la responsabilidad de los sistemas de ML.

• Mejora de la Fiabilidad: Al adoptar una perspectiva de "fiabilidad situada", la comunidad puede comprender mejor dónde, cuándo y cómo se pueden utilizar los modelos de forma segura, evitando la adopción acrítica de soluciones inadecuadas.
• Mayor Transparencia: Desencapsular el proceso de construcción permite una mejor documentación de las limitaciones, permitiendo a los investigadores evaluar la validez de un conjunto de datos para su caso de uso específico.
• Colaboración Interdisciplinaria: Reconocer el trabajo social y técnico involucrado en la determinación de la verdad de referencia fomenta mejores asociaciones entre los investigadores de ML, los expertos en el dominio y los científicos sociales.
• Reforma Educativa: El artículo aboga por integrar reflexiones críticas sobre la construcción de datos y la colaboración interdisciplinaria en la educación de ML para preparar a los investigadores para las complejidades de los datos del mundo real.

En última instancia, el artículo hace un llamado a un cambio en la mentalidad de la comunidad de ML: pasar de ver la recolección de datos como una observación pasiva de hechos a verla como un proceso activo, intencional y colaborativo de construcción de datos. Este cambio se presenta no como una carga, sino como un paso necesario hacia la creación de sistemas de IA más robustos y éticamente sólidos.