Kutti AI: A Voice-First, Offline-Capable Learning Companion with Real-Time Struggle Detection for Visually-Impaired Children

Resumen Técnico: Kutti AI

Planteamiento del Problema
La tecnología educativa actual para niños es predominantemente visual, lo que crea una barrera significativa para los aproximadamente 1,4 millones de niños ciegos y millones más con baja visión en todo el mundo. Estos usuarios enfrentan dos barreras compuestas: la modalidad, ya que las interfaces visuales son inaccesibles sin la vista, y la economía, debido a que el software de asistencia de alta calidad suele requerir hardware o suscripciones costosas, excluyendo a las comunidades desatendidas. Las herramientas educativas basadas en voz existentes a menudo dependen de sistemas de Respuesta de Voz Interactiva (IVR) dependientes de la red o carecen de la adaptabilidad para manejar las realidades acústicas y lingüísticas específicas del habla infantil, tales como el cambio de código (code-switching), la pronunciación errónea y las disfluencias.

Metodología y Arquitectura del Sistema
Kutti AI es un compañero de aprendizaje basado en la voz, capaz de funcionar sin conexión, diseñado para operar enteramente mediante la conversación hablada en hardware móvil convencional. El sistema está construido utilizando React Native (Expo) y TypeScript, con los siguientes componentes técnicos principales:

• Pipeline de Voz de Prioridad Offline: El sistema utiliza un puerto en el dispositivo del modelo de Reconocimiento Automático del Habla (ASR) Whisper para la transcripción, eliminando la necesidad de conectividad a Internet durante el ciclo de aprendizaje. El Texto a Voz (TTS) es gestionado por el motor nativo de la plataforma.
• Persistencia de Datos: Las lecciones, los registros de sesiones y el progreso se almacenan en un backend PostgreSQL (Supabase) con seguridad a nivel de fila. Sin embargo, el contenido de las lecciones se almacena localmente para asegurar que la experiencia central funcione sin red, realizando la sincronización de manera oportunista cuando la conectividad está disponible.
• Flujo de Interacción: El ciclo de aprendizaje consta de cinco etapas: Bienvenida, Entrega de la Lección (vía TTS), Respuesta de Voz (capturada mediante tacto o manos libres), Respuesta Adaptativa y Resumen. La interfaz está diseñada para ser compatible con lectores de pantalla, con objetivos táctiles grandes y retroalimentación háptica, asegurando que el audio sea la única modalidad requerida.

Contribuciones Clave
El artículo describe tres mecanismos de ingeniería primarios diseñados para hacer que el aprendizaje adaptativo sea accesible y robusto para niños con discapacidad visual:

1. Motor de Detección de Dificultad de Señal Múltiple:
   Para abordar la necesidad de una adaptabilidad de apoyo, el sistema fusiona tres señales independientes para detectar la dificultad en tiempo real:

   • Latencia de Respuesta: Mide el tiempo entre el final de una pregunta y el inicio de una respuesta. Una pausa que excede un umbral (2,5 segundos en el prototipo) activa una pista hablada.
   • Seguimiento de Intentos Incorrectos: Cuenta los intentos fallidos. Después de dos fallos, el sistema presenta una versión simplificada y pre-elaborada de la pregunta.
   • Detección de Palabras Clave de Vacilación: Escanea las transcripciones en busca de señales verbales como "no sé" o "ayuda", activando el aliento en lugar de marcar la respuesta como incorrecta.
     Esta fusión permite que el sistema reaccione ante el silencio, los errores o la incertidumbre verbalizada utilizando computación ligera en el dispositivo.

2. Pipeline de Emparejamiento de Respuestas Translingüístico:
   Para evaluar justamente a los niños pequeños que pueden mezclar idiomas (por ejemplo, inglés y tamil) o pronunciar mal las palabras, el sistema emplea un pipeline de tolerancia de tres capas:

   • Emparejamiento Consciente del Idioma: Traduce o translitera las respuestas para reconciliar las diferencias lingüísticas antes de la comparación.
   • Emparejamiento Difuso (Fuzzy Matching): Utiliza la distancia de edición de Levenshtein para calcular la similitud, aceptando respuestas por encima de un umbral (0,6 en el prototipo) en lugar de requerir una igualdad exacta de cadenas.
   • Normalización: Elimina palabras de relleno ("um", "uh"), puntuación y normaliza los espacios en blanco para evitar que diferencias superficiales afecten el juicio.

3. Arquitectura de Prioridad Offline:
   Al ejecutar el ASR localmente y cachear las lecciones, el sistema garantiza la funcionalidad en entornos de baja conectividad comunes en comunidades desatendidas, intercambiando cómputo y almacenamiento en el dispositivo por disponibilidad universal.

Resultados y Observaciones
Kutti AI fue implementado como un prototipo funcional durante el hackathon Half Baked, soportando inglés y tamil.

• Validación Cualitativa: Pruebas informales validaron el ciclo de interacción de extremo a extremo, confirmando que un sistema de aprendizaje totalmente basado en la voz, capaz de funcionar sin conexión y adaptativo, puede implementarse en hardware móvil estándar.
• Limitaciones: Los autores declaran explícitamente que estos resultados son cualitativos y formativos. El prototipo aún no ha sido evaluado con niños con discapacidad visual bajo condiciones controladas. En consecuencia, el artículo reporta la viabilidad y observaciones de diseño en lugar de resultados de aprendizaje medidos o estadísticas de usabilidad.

Significancia y Reivindicaciones
El artículo argumenta que la exclusión de los niños con discapacidad visual de la tecnología educativa es una elección de ingeniería, no una inevitabilidad. Kutti AI demuestra que, al priorizar la suficiencia de audio, implementar la detección de dificultades de señal múltiple y utilizar un emparejamiento translingüístico tolerante, es posible reducir tanto las barreras de accesibilidad como las económicas para la educación temprana.

Los autores enfatizan que los patrones de diseño del sistema —específicamente el cambio de un IVR dependiente de la red al ASR en el dispositivo, y de un emparejamiento de cadenas rígido a una evaluación difusa y consciente del idioma— son críticos para crear herramientas inclusivas. El trabajo sirve como una plataforma concreta para futuros estudios de usuario rigurosos destinados a validar los umbrales de detección de dificultades y medir las ganancias de aprendizaje, en lugar de reclamar una eficacia educativa inmediata y probada.