Deterministic Preprocessing and Interpretable Fuzzy Banding for Cost-per-Student Reporting from Extracted Records

Each language version is independently generated for its own context, not a direct translation.

Imagina que tu universidad es una gran cocina donde se preparan miles de platos (clases) para estudiantes. Cada plato tiene un costo (salarios de profesores, materiales, impuestos) y una cantidad de comensales (estudiantes).

El problema es que los datos de esta cocina llegan en un montón de hojas de cálculo desordenadas, llenas de errores, números faltantes y notas confusas. Los directores necesitan saber: "¿Cuánto cuesta alimentar a un estudiante en cada clase?" para tomar decisiones sobre el presupuesto.

Este artículo presenta una solución inteligente y muy ordenada para limpiar esos datos y darles sentido. Aquí te lo explico con analogías sencillas:

1. El "Cocinero Robótico" Infalible (Procesamiento Determinista)

Imagina que tienes un robot llamado cad_processor.py. Su trabajo es tomar la hoja de cálculo original (la "materia prima") y transformarla en un reporte limpio.

¿Qué hace especial a este robot? Es determinista. Esto significa que si le das exactamente el mismo plato de ingredientes (el mismo archivo de Excel, byte por byte) y le dices que cocine de la misma manera, siempre obtendrás el mismo resultado final. No hay "hoy me salió un poco salado, mañana un poco dulce".
La huella digital: Antes de empezar, el robot toma una "foto digital" (un código único llamado SHA-256) de los ingredientes originales. Si alguien intenta cambiar una sola letra en el archivo original, la foto digital cambia y el robot sabe que algo ha sido manipulado. Esto garantiza que nadie pueda decir "los números cambiaron por error" cuando en realidad cambiaron porque los ingredientes eran distintos.

2. La Limpieza de la Cocina (Reglas Claras)

Antes de cocinar, el robot revisa los ingredientes con reglas estrictas:

Si falta el precio de un ingrediente, lo trata como 0 (pero cuenta cuántos faltaron).
Si hay un número negativo de estudiantes (algo imposible), lo tira a la basura.
Si una fila dice "Total" o "Suma" (que son resúmenes y no datos reales), la ignora para no contar dos veces.
Si hay costos pero cero estudiantes, el robot deja esa casilla en blanco (porque no se puede dividir entre cero) y lo marca como "Indefinido".

El robot lleva un cuaderno de bitácora (el "Processing Summary") donde anota: "Entraron 1000 filas, tiré 50 por errores, y 10 tenían precios faltantes". Así, cualquier auditor puede revisar el cuaderno y ver exactamente qué pasó.

3. El Semáforo Inteligente (Banding Difuso)

Una vez que el robot calcula el costo por estudiante, tiene miles de números. Algunos son muy bajos (baratos), otros muy altos (caros). ¿Cómo saber si un costo es "alto" o "bajo" sin usar una regla rígida?

Aquí entra la magia de las "Bandas Difusas" (Fuzzy Banding).

Imagina que tienes un termómetro para medir la temperatura del agua, pero en lugar de decir solo "Frío" o "Caliente", usamos un semáforo de colores que cambia suavemente:

Verde (Bajo): El agua está fresca.
Amarillo (Medio): Está tibia.
Rojo (Alto): Está hirviendo.

La genialidad de este sistema es que no hay una línea dura donde el agua pasa de tibia a hirviendo.

Si el agua está a 49°C, es casi totalmente "Tibia" (Amarillo) pero un poquito "Hirviendo" (Rojo).
Si está a 51°C, es casi totalmente "Hirviendo" pero un poquito "Tibia".

El sistema calcula cuánto pertenece a cada color (un porcentaje de 0 a 1).

Ejemplo: Un costo puede ser un 60% "Bajo" y un 40% "Medio".
La regla de desempate: Si un costo está exactamente en la mitad (50% Bajo, 50% Medio), el robot tiene una regla fija para decidir: siempre elige el del medio ("Medio"). Esto evita que un número pequeño cambie drásticamente de categoría solo por un centavo de diferencia.

4. El Reporte Final (La Carta del Restaurante)

Al final, el robot entrega un libro con cuatro páginas:

Resumen de la Cocción: La foto digital del archivo original, cuántos errores encontró y las reglas que usó.
Mapa de Calores: Una tabla que muestra los costos por escuela y año, pintada con colores (verde a rojo) para ver rápidamente dónde hay problemas.
El Menú Detallado: Una lista con cada clase, su costo y cuántos estudiantes tenía.
La Etiqueta de Temperatura: La lista con los colores (Bajo, Medio, Alto) y los porcentajes de pertenencia, explicando por qué se asignó ese color.

¿Por qué es importante esto?

En el mundo real, los directores a menudo discuten presupuestos basándose en hojas de cálculo que nadie entiende del todo. Este método ofrece:

Confianza: Sabes exactamente de dónde salieron los números.
Transparencia: Puedes ver las reglas de limpieza y los "colores" que se usaron.
Justicia: Al usar un sistema flexible (difuso) en lugar de reglas rígidas, se reconoce que la realidad es gris y no blanco o negro. Un costo no es "malo" solo porque cruzó una línea mágica; es "casi malo".

En resumen, es como tener un chef robot con lupa que no solo cocina el menú perfecto, sino que te deja ver cada ingrediente, cada error que corrigió y te explica por qué ese plato es "picante" o "suave" con una precisión que cualquiera puede entender y verificar.

Each language version is independently generated for its own context, not a direct translation.

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Preprocesamiento Determinista y Agrupamiento Difuso Interpretable para Informes de Costo por Estudiante a partir de Registros Extraídos

Autores: Shane Lee y Stella Ng (Universidad de Tecnología de Sídney).

1. Problema

Los informes administrativos en instituciones educativas a menudo se basan en extractos de bases de datos (como la Base de Datos de Académicos Eventuales o CAD) que se exportan a hojas de cálculo. Estos archivos se utilizan directamente para la toma de decisiones en presupuestos, revisión de cargas de trabajo y gobernanza. Sin embargo, existen desafíos críticos:

Falta de trazabilidad: Cuando una hoja de cálculo exportada se convierte en la "instantánea de referencia" para decisiones, es difícil verificar cómo se transformaron los datos brutos en los totales reportados.
Ambigüedad en el preprocesamiento: El manejo de valores faltantes, filas de resumen (totales), y casos límite (como costos positivos con cero estudiantes) suele ser opaco o inconsistente.
Interpretación de datos: Los valores numéricos de "costo por estudiante" son difíciles de interpretar contextualmente sin una referencia clara de su posición relativa dentro de un año específico.
Reproducibilidad: Sin un registro de la versión exacta de los datos de entrada y las reglas aplicadas, es imposible auditar o replicar los resultados.

2. Metodología

Los autores proponen un flujo de trabajo basado en archivos, determinista y gobernado por reglas, implementado en un script de Python (cad_processor.py). La metodología se divide en dos componentes principales:

A. Preprocesamiento Determinista y Agregación

El sistema ingiere un libro de trabajo Excel (snapshot del CAD) y lo transforma en un libro de trabajo procesado.

Identificación de Instantánea: Se calcula una hash SHA-256 de los bytes del archivo de entrada para garantizar que el procesamiento se pueda vincular a una versión exacta de los datos.
Reglas de Filtrado y Limpieza:
- Se extrae el año de la columna "Teaching Session" mediante expresiones regulares.
- Se descartan filas con claves faltantes (Escuela, Asignatura) o años no detectados.
- Se eliminan filas de resumen (ej. "Total", "Sum") y filas con conteos de estudiantes negativos.
- Manejo de valores nulos: Los costos faltantes se tratan como 0.0 y los conteos de estudiantes faltantes como 0 para la agregación, pero se registran en contadores de calidad de datos.
Cálculo de Ratios:
- Se calcula el costo por estudiante dividiendo los costos totales (incluyendo sobrecostos) entre el conteo total de estudiantes.
- Casos límite:
  - Sin actividad: Costo = 0 y Estudiantes = 0 $\rightarrow$ Ratio = 0.0.
  - Indefinido: Costo > 0 y Estudiantes = 0 $\rightarrow$ Ratio se deja en blanco (no se calcula división por cero).
Agregación: Los datos se agrupan por "Asignatura-Año" y "Escuela-Año".

B. Agrupamiento Difuso (Fuzzy Banding) Interpretable

Para facilitar la interpretación dentro de un mismo año, se aplica una capa de etiquetado difuso:

Anclajes (Anchors): Para cada año, se calculan tres puntos de referencia a partir de los ratios válidos (finos y positivos): Mínimo ( $a$ ), Mediana ( $b$ ) y Máximo ( $c$ ).
Funciones de Pertenencia: Se utilizan funciones de membresía triangulares y de hombro (shoulder) para calcular el grado de pertenencia de cada ratio a las categorías: Bajo (Low), Medio (Medium) y Alto (High).
- Bajo: Función de hombro izquierdo (decrece de $a$ a $b$ ).
- Medio: Función triangular (pico en $b$ , decae a $a$ y $c$ ).
- Alto: Función de hombro derecho (crece de $b$ a $c$ ).
Asignación de Etiqueta y Empate: La etiqueta final se asigna a la categoría con el peso de membresía más alto. En caso de empate, se aplica un orden de prioridad determinista: Medio > Bajo > Alto. Esto evita la ambigüedad en los puntos de corte.
Salida: Los pesos de membresía (0 a 1) y la etiqueta asignada se reportan junto con el ratio numérico original.

3. Contribuciones Clave

Auditoría y Reproducibilidad: El sistema genera un registro completo que incluye el hash SHA-256 de la entrada, contadores de filas procesadas/descartadas y metadatos de ejecución. Esto permite la verificación por recomputación.
Transparencia en el Preprocesamiento: Define explícitamente cómo se manejan los valores faltantes, los ceros y los casos indefinidos, eliminando la "caja negra" típica de las hojas de cálculo manuales.
Interpretabilidad Difusa Controlada: Introduce una capa de etiquetado (Bajo/Medio/Alto) que es matemáticamente rigurosa, basada en anclajes anuales específicos (no una escala global fija) y totalmente trazable a los valores numéricos subyacentes.
Artefactos de Evidencia: El libro de trabajo de salida contiene cuatro hojas estructuradas:
- Processing Summary: Metadatos, hash, contadores y anclajes.
- Trend Analysis: Matriz de costos por escuela/año con escalas de color condicionales.
- Report: Tabla detallada a nivel de asignatura.
- Fuzzy Bands: Datos de pertenencia difusa y etiquetas.

4. Resultados

El estudio presenta un ejemplo de trabajo (con datos sintéticos) que demuestra:

La capacidad del script para procesar un libro de trabajo de entrada, calcular hashes, filtrar filas y generar un libro de trabajo de salida consistente.
La correcta aplicación de las funciones de membresía. Por ejemplo, un ratio de 12,000 con anclajes (10k, 15k, 30k) produce pesos de 0.6 (Bajo), 0.4 (Medio) y 0.0 (Alto), asignándose la etiqueta "Bajo".
La resolución determinista de empates: un valor en el punto medio exacto entre dos categorías siempre recibe la etiqueta de la categoría central (Medio) debido a la regla de prioridad, garantizando consistencia.
La generación de contadores que permiten a los auditores saber exactamente cuántas filas fueron descartadas por razones específicas (ej. año no detectado, valores negativos).

5. Significancia

Este trabajo es significativo para la gestión de datos institucionales y la gobernanza educativa por varias razones:

Confianza en la Toma de Decisiones: Al hacer el proceso de transformación transparente y repetible, aumenta la confianza de los líderes académicos y los comités de gobernanza en los datos utilizados para asignar recursos.
Cumplimiento de Principios FAIR: El enfoque alinea el procesamiento de datos con los principios de Findability, Accessibility, Interoperability, and Reuse (FAIR), especialmente al documentar artefactos y reglas.
Equilibrio entre Automatización e Interpretación: Demuestra cómo se puede automatizar el preprocesamiento de datos masivos sin sacrificar la capacidad de interpretar los resultados mediante técnicas de lógica difusa que mantienen la trazabilidad numérica.
Modelo para la Auditoría de Datos: Proporciona un modelo replicable para convertir extractos de bases de datos operativas en informes auditables, reduciendo el riesgo de errores humanos en la manipulación de hojas de cálculo.

En resumen, el artículo propone una solución robusta para transformar datos administrativos crudos en informes de alto nivel que son a la vez técnicamente verificables y semánticamente interpretables.