A Cascaded Unsupervised-Supervised NLP Pipeline for Detecting Accusatory Language in Public Procurement

Imagina que eres un detective intentando resolver un misterio, pero en lugar de buscar huellas dactilares o pisadas, estás cribando millones de pequeñas y desordenadas notas dejadas por personas en una plaza de la ciudad gigante y caótica. Este es el mundo del Procesamiento de Lenguaje Natural (NLP), una rama de la informática donde las máquinas aprenden a leer y comprender el texto humano. A veces, las computadoras son excelentes leyendo libros formales, pero a menudo se confunden con la jerga, los errores tipográficos y los arrebatos emocionales que la gente escribe en la vida real. La gran pregunta aquí es: ¿Podemos enseñar a una computadora a detectar los susurros específicos y airados que insinúan corrupción o irregularidades en los acuerdos gubernamentales públicos, incluso cuando esos susurros están enterrados bajo una montaña de quejas y preguntas aburridas? Esto es importante porque el dinero público es un recurso enorme, y cuando las personas participan en irregularidades, todos pierden. Si podemos construir un "detector de mentiras" digital que lea estas notas, podríamos atrapar a los malos actores antes de que roben la confianza del público.

Este artículo cuenta la historia de un equipo de investigadores que construyó un ingenioso sistema de detective de dos pasos para encontrar lenguaje "acusatorio" en el sistema de contratación pública de Ecuador. Piensa en la contratación pública como cuando el gobierno va de compras para todo, desde reparaciones de carreteras hasta suministros escolares. Antes de que se concrete el trato final, a los proveedores se les permite hacer preguntas o dejar comentarios. La mayoría de estos comentarios son inofensivos, como "¿Pueden explicar esta regla?" o "No me gusta el precio". Pero algunos son susurros peligrosos como "Este trato está amañado" o "Solo están dejando ganar a una sola empresa". El desafío es que estos susurros peligrosos son escasos, como encontrar una única aguja roja en un pajar de un millón de agujas azules.

Los investigadores intentaron utilizar las computadoras de "superlectura" más tecnológicas y costosas disponibles (llamadas Modelos de Lenguaje Extensos como LLaMA y RoBERTa) para encontrar estas agujas. Esperaban que estas potentes herramientas fueran las mejores. Sin embargo, descubrieron algo sorprendente: las computadoras elegantes y de alta potencia estaban en realidad demasiado confundidas por el texto desordenado e informal. Veían las agujas, pero no podían separarlas del heno. En cambio, el equipo descubrió que una herramienta mucho más simple, antigua y ligera llamada Word2Vec, que entrenaron específicamente con el lenguaje local y la jerga de estos comentarios de contratación, funcionó de maravilla. Fue como cambiar un detector de metales de alta potencia y sobreingenierizado que pita ante todo, por un imán simple y bien calibrado que solo recoge el metal específico que estaban buscando.

La solución del equipo fue un pipeline "cascada", que es solo una forma elegante de decir que usaron un filtro antes de la revisión final. Primero, usaron la herramienta simple de Word2Vec para agrupar comentarios similares, como clasificar una pila de cartas mezcladas en sobres basados en el estilo de la caligrafía. Luego, utilizaron un método matemático (Modelos de Mezcla Gaussiana) para encontrar el sobre específico que tenía más probabilidades de contener las cartas "acusatorias". Finalmente, utilizaron un clasificador estándar y confiable (un algoritmo de Bosque Aleatorio o Random Forest) para leer solo esas cartas específicas y decidir si eran verdaderamente acusaciones de corrupción.

Los resultados fueron impresionantes. A pesar de que los comentarios "acusatorios" representaban solo alrededor del 3% del total de los datos (un desequilibrio severo), este sistema simple de dos pasos detectó el 91% de ellos (exhaustividad o recall) con un 84% de precisión (precision). Esto sugiere que no necesitas una supercomputadora masiva y costosa para resolver este problema; un sistema ligero y entrenado inteligentemente puede hacer el trabajo igual de bien, o incluso mejor. El artículo descarta explícitamente la idea de que los modelos de IA más nuevos y complejos sean automáticamente la mejor opción para esta tarea específica, ruidosa y del mundo real. Aunque los modelos sofisticados mostraban potencial, lucharon con la "anisotropía" de los datos —una forma técnica de decir que los datos estaban aplastados en una forma que confundía a los modelos complejos—. El modelo más simple, entrenado directamente con los comentarios desordenados del mundo real, manejó mucho mejor el caos.

Los investigadores también probaron su sistema en una enorme pila de datos no etiquetados (comentarios que aún no habían revisado manualmente). El sistema marcó alrededor de 1,892 acusaciones potenciales de un total de casi 93,000 comentarios. Cuando revisaron manualmente una muestra de los comentarios marcados, encontraron que alrededor del 84% eran de hecho acusaciones reales de corrupción o irregularidades. Esto sugiere que el sistema es lo suficientemente robusto como para ser usado como un vigilante en tiempo real del gasto público. Sin embargo, el artículo señala una limitación: el sistema es bueno detectando acusaciones directas, pero podría pasar por alto comentarios sutiles, sarcásticos o irónicos que no utilizan las palabras clave habituales de la "corrupción".

Al final, este artículo demuestra que, a veces, la mejor manera de resolver un problema complejo no es lanzarle la tecnología más poderosa, sino construir un proceso inteligente y a medida que entienda las peculiaridades específicas de los datos. Al combinar un embedding simple y específico del dominio con una estrategia de filtrado inteligente, los investigadores crearon una herramienta que es rápida, barata de ejecutar y efectiva para arrojar luz sobre las sombras donde se esconde la corrupción. Sugieren que este enfoque podría adaptarse a otros países, siempre que esos países tengan sus datos de contratación pública organizados de manera que las computadoras puedan leerlos fácilmente.