Resumen Técnico: LINGUA-AUDIT

Planteamiento del Problema

A medida que los Modelos de Lenguaje de Gran Escala (LLMs) se despliegan cada vez más como interfaces conversacionales para servicios públicos y esquemas de bienestar cívico en sociedades multilingües, ha surgido un desafío crítico: la desigualdad de información mediada por IA. Este fenómeno se define como la divergencia sistemática en la información sustantiva, fáctica y accionable proporcionada a los ciudadanos que buscan necesidades de información idénticas bajo diferentes condiciones lingüísticas.

En contextos cívicos de alto riesgo (p. ej., elegibilidad para atención médica, documentación estatutaria, esquemas de bienestar), las disparidades de rendimiento no son meramente estilísticas o basadas en la fluidez. En su lugar, se manifiestan como daños sustantivos donde las consultas en idiomas distintos al inglés o en código mixto (p. ej., Hinglish) arrojan orientación incompleta, desactualizada o fácticamente errónea en comparación con las consultas en inglés. Las evaluaciones multilingües existentes se centran mayoritariamente en capacidades superficiales (perplejidad, puntuaciones de traducción o exámenes de opción múltiple) y no logran evaluar si las necesidades de información cívica idénticas se satisfacen de manera equitativa entre los idiomas.

Metodología

El artículo presenta LINGUA-AUDIT, un marco reproducible diseñado para evaluar sistemáticamente la desigualdad de información sustantiva. Es un protocolo de diseño de benchmarks y medición, no una comparación empírica de modelos en vivo.

1. Diseño del Benchmark y Construcción de Tareas

• Alcance: El marco ancla 150 tareas administrativas del mundo real en cinco dominios cívicos esenciales en la India: Salud, Educación, Servicios Públicos, Finanzas y Conocimientos Generales.
• Verdad de Referencia (Ground Truth): Cada tarea está fundamentada en autoridades estatutarias públicas registradas en un registro maestro de tareas (obtenido de directrices oficiales, notificaciones de la gaceta, circulares ministeriales y dominios departamentales). Sin embargo, la verdad de referencia representa una curaduría interna por parte del autor del proyecto basada en esquemas administrativos oficiales, en lugar de un estándar de oro legal independientemente certificado. El registro registra nombres de esquemas y fechas de corte, pero carece de URLs directas, extractos textuales de estatutos y mapeo de alineación de cláusula a hecho. Las tareas están indexadas por Necesidades de Información Subyacentes (UINs), que son especificaciones conceptuales del lenguaje agnósticas respecto al idioma sobre la intención comunicativa y el alcance fáctico, eliminando el sesgo normativo del inglés.
• Estructura de Hechos: Cada tarea incluye:
  • Hechos Críticos (CF): 3 criterios estatutarios obligatorios por tarea (p. ej., techos de ingresos, plazos).
  • Hechos Importantes (IF): 2 contextos procedimentales esenciales por tarea.
  • Restricciones de Seguridad: 1 límite explícito por tarea para prevenir la explotación financiera.

2. Configuración Experimental

El marco define una matriz factorial completa para la recolección de datos y la puntuación:

• 150 Tareas × 3 Condiciones de Idioma (Inglés Formal, Hindi en Devanagari, Hinglish Romanizado) × 4 Slots de Modelos Objetivo (Google, OpenAI, Anthropic, Meta) × 3 Repeticiones.
• Total de Celdas: 5,400 celdas factoriales.
• Estado Actual: El artículo informa sobre un fixture de software determinista (línea base sintética) generado en memoria para verificar la integridad del pipeline; aún no se han ejecutado consultas de API de modelos reales; los 5,400 registros son fixtures programáticos, no salidas de modelos genuinos.

3. Métricas de Medición

El marco operacionaliza 13 métricas de calidad de respuesta a través de cinco dimensiones:

• Precisión Fáctica: Precisión a nivel de afirmación (M1) y precisión de solo contradicción (M1b).
• Completitud y Omisión: Cobertura de Hechos Críticos (M2a), Completitud Ponderada (M2c) y Tasa de Omisión de Hechos Críticos (M3).
• Errores Fácticos: Conteos de errores deduplicados (M4a), indicadores binarios de error (M4b) y tasas de error normalizadas (M4c).
• Autenticidad y Seguridad: Grados de calidad de citación (M5), niveles de seguridad de dominio (M6) y preservación semántica respecto a las UINs (M7).
• Consistencia Estocástica: Varianza de completitud (M8a) y Concordancia de Jaccard de Hechos Críticos (M8b) a través de repeticiones.

4. Plan de Análisis Estadístico

Un plan estadístico preespecificado utiliza:

• Modelos Mixtos Lineales Generalizados (GLMMs) para resultados proporcionales (Binomial para M1, M2a, M3; Binomial Negativa para M4a).
• Modelos Mixtos de Enlace Acumulativo (CLMMs) para calificaciones ordinales (M5, M6, M7).
• Modelos de Obstáculo (Hurdle models) de dos partes para métricas de varianza y concordancia.
• Control de Multiplicidad: Control de la tasa de error de la familia mediante la corrección descendente de paso Holm–Bonferroni para una familia primaria de confirmación de 9 hipótesis (3 puntos finales × 3 contrastes de idioma).

Contribuciones Clave

1. Diseño de Benchmark de Información Cívica: Un conjunto curado de 150 tareas administrativas indexadas por UINs agnósticas al idioma, yendo más allá de los corpora traducidos para probar la resolución de problemas localizados auténticos.
2. Métricas Operacionales Multidimensionales: Especificaciones matemáticas para 13 métricas que apuntan específicamente a la desigualdad de información sustantiva (omisiones, alucinaciones, riesgos de seguridad) en lugar de la fluidez superficial.
3. Gobernanza Metodológica: Cuarentena explícita de artefactos de validación de evaluadores sintéticos previos inválidos (donde los evaluadores automatizados fueron clonados para servir como verdad de referencia "humana") y una separación clara de la corrección del software y la validez de constructo empírico.
4. Pipeline de Software Reproducible: Una arquitectura de puntuación en Python de código abierto verificada con 115 pruebas unitarias y de regresión que pasan contra la matriz factorial de 5,400 celdas.
5. Integración de Code-Switching: Tratando el código mixto de Hindi-Inglés (Hinglish) como una condición de evaluación primaria y de primer orden junto con el inglés formal y el hindi.

Estado de Resultados y Validación

El artículo establece explícitamente que no se reportan comparaciones empíricas de modelos ni clasificaciones de disparidad de idioma. Los resultados presentados son estrictamente validaciones técnicas del propio marco:

• Integridad del Pipeline: El software generó y verificó con éxito 5,400 registros sintéticos con 100% de cobertura a través de la matriz factorial.
• Verificación Criptográfica: El archivo de fixture del conjunto de datos fue auditado criptográficamente con hashes SHA-256 verificados.
• Diagnósticos de Línea Base: Los fixtures sintéticos mostraron cero latencia y cero varianza a través de las repeticiones, confirmando la capacidad del pipeline para procesar y serializar datos correctamente.
• Limitaciones de Validación: Todas las 13 métricas de calidad permanecen empíricamente no validadas a la espera de una anotación humana bilingüe genuina. Una validación previa de un evaluador automatizado se encontró que dependía de referencias sintéticas clonadas y fue puesta en cuarentena.

Significado y Reivindicaciones

El artículo posiciona a LINGUA-AUDIT como una infraestructura necesaria para la gobernanza algorítmica en sociedades multilingües. Su importancia radica en:

• Cambio del Paradigma de Evaluación: Pasar de la "fluidez superficial" a la "equidad de información sustantiva", reconociendo que en contextos cívicos, un documento obligatorio faltante o un plazo desactualizado constituye un daño administrativo tangible.
• Prevención de la Validación Circular: Al exponer y poner en cuarentena un error de "autovalidación circular" (donde las salidas sintéticas fueron confundidas con la verdad de referencia humana), el marco establece un estándar riguroso para la transparencia metodológica en la auditoría de IA.
• Infraestructura Preparada para el Futuro: El marco proporciona los instrumentos de medición preespecificados y la arquitectura estadística requeridos para auditar modelos de frontera una vez que se completen la recolección de datos en vivo (respuestas de modelos reales) y la calibración de evaluadores humanos.

El autor concluye que LINGUA-AUDIT aún no responde si modelos específicos exhiben desigualdad; más bien, proporciona el marco abierto, reproducible y estadísticamente riguroso requerido para detectar y cuantificar dicha desigualdad una vez que se reúnan los datos empíricos necesarios (respuestas de modelos reales y anotaciones humanas).