Resumen Técnico: Un Índice de Sensibilidad a Errores Categóricos (ISEC)

1. Declaración del Problema

Las Pequeñas y Medianas Empresas (PYMES) a menudo dependen de la entrada manual de datos para información categórica (por ejemplo, códigos de artículo, nombres de proveedores, tipos de incidente) debido a recursos limitados para validación automatizada. Esta dependencia crea una vulnerabilidad estructural conocida como fragilidad categórica. Cuando las categorías nominales exhiben proximidad semántica o morfológica, los errores de entrada manual pueden resultar en distorsiones irrecuperables.

A diferencia de los datos faltantes o las violaciones de formato, estos errores son "irrecuperables" porque:

1. Producen categorías sintácticamente válidas.
2. No violan las restricciones de la base de datos.
3. Permanecen sin detectar durante la agregación.
4. La etiqueta original pretendida no puede reconstruirse a posteriori.

Cuando una entrada errónea cae a igual distancia entre dos categorías válidas (o más cerca de una incorrecta) debido a una pequeña perturbación estocástica (error tipográfico), la decisión de clasificación se vuelve probabilísticamente indeterminada. Esto conduce a desinformación estructurada en los Sistemas de Apoyo a la Decisión (SAD), donde los Indicadores Clave de Rendimiento (KPI) se vuelven internamente consistentes pero semánticamente distorsionados. Las soluciones actuales fallan porque o bien evalúan las dimensiones morfológicas y semánticas de forma aislada o dependen de recursos computacionales pesados y diccionarios estándar inadecuados para la jerga y las abreviaturas específicas de las PYMES.

2. Metodología: El Marco ISEC

El artículo introduce el Índice de Sensibilidad a Errores Categóricos (ISEC), una puntuación compuesta ordinal diseñada para clasificar pares de categorías según su susceptibilidad estructural a la confusión antes de que ocurran errores. El ISEC cambia el paradigma de la limpieza de datos reactiva a la modelización preventiva de riesgos.

2.1 Formulación Matemática

Para un par de categorías distintas $(c_i, c_j)$, el índice se define como:

$$ISEC(i,j) = \frac{1 + FMN(i,j)}{DSN(i,j)^\alpha \times CMP(i,j)^{1-\alpha}}$$

Donde:

• $FMN(i,j)$ (Frecuencia Media Normalizada): El logaritmo en base 10 de la frecuencia empírica promedio de las dos categorías. Esto pondera el índice por la exposición operativa; los pares de alta frecuencia presentan un mayor riesgo si se confunden.
• $DSN(i,j)$ (Distancia Semántica Normalizada): Derivada de la similitud del coseno de las incrustaciones de palabras ($1 - \text{SimilitudCoseno}$), normalizada al rango $[0, 1]$. Mide la disimilitud semántica.
• $CMP(i,j)$ (Costo Medio Penalizado): Una métrica de costo morfológica basada en un algoritmo Damerau–Levenshtein ponderado.
  • Incluye un Costo Medio de Transformación ($CM$): El costo ponderado promedio de las operaciones de edición (inserción, eliminación, sustitución, transposición).
  • Incluye un Costo de Penalización ($CP$): Una acumulación lineal de inserciones, eliminaciones y sustituciones (excluyendo transposiciones para preservar el crecimiento lineal con la longitud de la cadena).
  • Parámetro $k$: Un factor ajustable ($k \ge 0$) que amplifica la penalización por la divergencia estructural acumulada.
• Parámetro $\alpha$: Un parámetro de ajuste ($0 \le \alpha \le 1$) que equilibra el peso semántico frente al morfológico. $\alpha \to 1$ prioriza el significado (descripciones largas), mientras que $\alpha \to 0$ prioriza la estructura (códigos cortos/códigos de artículo).

2.2 Personalización y Gobernanza

El ISEC utiliza matrices de costo de transformación a nivel de carácter en lugar de costos unitarios. Esto permite a las organizaciones codificar tendencias de error específicas:

• Proximidad del Teclado: Las sustituciones entre teclas adyacentes (por ejemplo, 'G' y 'T' en QWERTY) pueden asignarse con costos más bajos.
• Confusión Visual: Los caracteres confusos (por ejemplo, '0' y 'O') pueden ponderarse de manera diferente.
• Superficie de Gobernanza: Al ajustar las matrices de costos y el parámetro $k$, las organizaciones definen explícitamente su tolerancia al riesgo y sus suposiciones sobre la interacción humano-máquina.

2.3 Optimización Computacional

Para abordar la complejidad $O(N^2)$ del cálculo de distancias por fuerza bruta para catálogos grandes, el ISEC emplea una Estrategia de Búsqueda Híbrida utilizando Bases de Datos Vectoriales (por ejemplo, ChromaDB con algoritmos HNSW):

1. Filtrado Semántico (Búsqueda en Anchura): Recupera los $K$ vecinos semánticos superiores para una categoría en tiempo $O(\log N)$.
2. Cálculo Morfológico (Avidad): Calcula el $CMP$ completo solo contra estos $K$ candidatos en tiempo $O(K)$.
   Esto reduce la complejidad general a aproximadamente $O(\log N + K)$, permitiendo un procesamiento escalable.

3. Validación Empírica

Los autores validaron el ISEC en tres conjuntos de datos heterogéneos:

1. Registros Administrativos Judiciales (Argentina):
   • Datos: 1,06 millones de registros que involucran abreviaturas provinciales (por ejemplo, "caba" vs. "cba").
   • Resultado: Identificó pares de alto riesgo donde las diferencias de un solo carácter en abreviaturas de alta frecuencia crearon confusión irrecuperable. El tiempo de procesamiento fue de 34 segundos.
2. Inventario de Supermercado Minorista:
   • Datos: 25.638 descripciones de productos en 14 grupos ontológicos.
   • Resultado: Detectó colisiones semánticas entre diferentes grupos (por ejemplo, "Bizcocho achiras" en Panadería vs. Dulces) que los modelos semánticos tradicionales pasaron por alto debido a la superposición estructural de tokens. El tiempo de procesamiento bajó de un estimado de 187 días (fuerza bruta) a 12 minutos.
3. Catálogo Sintético de Metalurgia Basado en ISO:
   • Datos: 1.000 códigos ISO válidos (ISO 1832) sin frecuencia histórica (FMN establecido en 1).
   • Resultado: Confirmó vulnerabilidades "silenciosas" donde un ruido tipográfico menor generó códigos válidos pero incorrectos (por ejemplo, transposiciones en códigos como 'AAGX' vs 'AGAX').

4. Contribuciones Clave

• Modelado de Riesgo Estructural Ex-Ante: El ISEC trata la fragilidad categórica como una propiedad geométrica medible de la propia taxonomía, independientemente de si los errores ya han ocurrido.
• Clasificación Ordinal de Sensibilidad: En lugar de predecir probabilidades absolutas de error (lo que requiere suposiciones conductuales poco realistas), el ISEC proporciona una clasificación ordinal robusta de la vulnerabilidad para la priorización.
• Integración Unificada de Dimensiones: Cierra la brecha entre la distancia morfológica (esfuerzo tipográfico) y la distancia semántica (significado), que a menudo se tratan por separado en la literatura.
• Gobernanza Configurable: El marco permite a las organizaciones codificar tendencias de error empíricas y preferencias de riesgo directamente en la métrica mediante matrices de costos y el parámetro $k$.
• Soberanía Tecnológica: La solución se basa en pilas de código abierto, haciéndola accesible a las PYMES sin software propietario ni corpus de entrenamiento masivos.

5. Significado y Afirmaciones

El artículo argumenta que la robustez de la información (la capacidad de un sistema categórico para preservar la separabilidad semántica bajo perturbación estocástica acotada) es una dimensión distinta de la calidad de los datos que precede a la precisión a nivel de registro.

• Preventivo vs. Reactivo: El ISEC permite la detección de riesgos estructurales latentes antes de que se propaguen a métricas gerenciales, previniendo la "desinformación estructurada" donde los paneles de control parecen coherentes pero están semánticamente distorsionados.
• Diseño Teórico-Decisorio: Al identificar configuraciones taxonómicas frágiles, el ISEC apoya el rediseño de Interfaces de Usuario (IU), la consolidación de categorías y la implementación de reglas de validación dirigidas.
• Escalabilidad: La arquitectura de búsqueda híbrida hace que el análisis de grandes conjuntos de datos heterogéneos sea factible para organizaciones con recursos computacionales limitados.

Los autores concluyen que, aunque el ISEC depende actualmente de matrices de costos definidas manualmente, proporciona un instrumento escalable y proactivo para la gobernanza de datos que transforma la fragilidad categórica de una molestia operativa en un riesgo estructural gestionable. El trabajo futuro sugerido incluye la automatización del aprendizaje de matrices de costos mediante Modelos Ocultos de Markov y la integración del ISEC en plataformas de gobernanza de datos de código abierto.