Retrieval-Augmented Reasoning for Chartered Accountancy

A continuación se presenta un resumen técnico detallado del artículo "Razonamiento Aumentado por Recuperación para Contabilidad Pública" de Gupta et al.

1. Declaración del Problema

El artículo aborda las limitaciones de los Modelos de Lenguaje de Gran Escala (LLM) en el campo especializado de la Contabilidad Pública (CA) de la India. Si bien los LLM se adoptan cada vez más en finanzas, enfrentan desafíos críticos en sectores regulados:

• Alucinaciones y Precisión: Los modelos generalistas (por ejemplo, GPT-4o) luchan con el razonamiento complejo y de múltiples pasos requerido para las regulaciones legales (Ley del Impuesto sobre la Renta, estándares del ICAI) y los cálculos del GST, a menudo logrando una precisión baja (13–20%) en puntos de referencia específicos del dominio.
• Restricciones de Recursos: Los modelos más avanzados requieren recursos computacionales masivos, altos costos de inferencia y dependencia de la nube, lo que genera preocupaciones sobre la privacidad y los hace inadecuados para entornos con recursos limitados.
• Problemas de Análisis de Documentos: La OCR estándar falla al manejar las disposiciones intrincadas de los documentos fiscales (tablas de múltiples columnas, símbolos matemáticos), lo que conduce a la pérdida de datos durante la recuperación.
• Falta de Fundamentación: Los modelos a menudo no logran basar sus respuestas en documentos fuente originales, lo cual es un requisito estricto para el cumplimiento financiero y legal.

2. Metodología: CA-ThinkFlow

Los autores proponen CA-ThinkFlow, un marco de Generación Aumentada por Recuperación (RAG) eficiente en parámetros diseñado para operar en un modelo de 14 mil millones de parámetros mientras iguala el rendimiento de modelos propietarios mucho más grandes.

A. Arquitectura Central

• Modelo Base: Utiliza 14B-DeepSeek-R1 (específicamente DeepSeek-R1-Distill-Qwen-14B) en un formato cuantizado a 4 bits (Q4_K_M). Este modelo se selecciona por sus capacidades de razonamiento de Cadena de Pensamiento (CoT) integradas, lo que le permite imitar el pensamiento cognitivo natural y manejar problemas de múltiples pasos.
• Sistema de Recuperación:
  • Extracción de Documentos: Utiliza Docling, un extractor consciente de la disposición (que aprovecha TableFormer y DocLayNet) para preservar la estructura del documento, las tablas y los símbolos matemáticos de los textos financieros, superando las limitaciones de la OCR estándar.
  • Fuente de Datos: Una base de datos curada de conocimiento financiero indio, que incluye materiales de código abierto del ICAI, regulaciones fiscales y libros de texto.
  • Fragmentación: El texto se segmenta en fragmentos de 1000 caracteres con una superposición de 200 caracteres, optimizados para la continuidad de la incrustación y la precisión de la recuperación.
  • Incrustación: Los fragmentos de texto se codifican utilizando el modelo Qwen-Embedding-0.6B para soporte multilingüe y eficiencia.
  • Indexación: Las incrustaciones se almacenan en un índice FAISS para búsqueda de similitud basada en L2.
• Flujo de Inferencia:
  1. El sistema recibe una consulta del usuario.
  2. Recupera los contextos relevantes superiores (top-k) del almacén vectorial.
  3. El contexto recuperado se inyecta directamente en una plantilla de solicitud estandarizada (basada en el punto de referencia CA-Ben).
  4. El modelo 14B-DeepSeek-R1 procesa la consulta y el contexto, utilizando su razonamiento interno de Cadena de Pensamiento para sintetizar la respuesta final.

B. Configuración de Evaluación

• Punto de Referencia: Evaluado en el punto de referencia CA-Ben 2 utilizando una configuración de disparo cero (sin ajuste fino en los datos de prueba), simulando un escenario de inicio en frío.
• Métricas: El rendimiento se mide mediante puntuaciones F1 en 14 materias (niveles de Fundación, Intermedio y Final) y el Coeficiente de Confiabilidad Escolar (SRC).
• Hardware: Probado en una estación de trabajo con 2 CPUs Intel Xeon, 65 GB de RAM y 2 GPUs NVIDIA GTX 1080 Ti.

3. Contribuciones Clave

1. Alto Rendimiento Eficiente en Parámetros: Se demostró que un modelo cuantizado de 14 mil millones de parámetros, cuando se combina con un pipeline RAG robusto, puede alcanzar niveles de rendimiento comparables a modelos propietarios masivos (por ejemplo, GPT-4o, Claude 3.5 Sonnet, LLaMA-3.1-405B) en un dominio especializado.
2. Procesamiento de Documentos Consciente de la Disposición: Se integró Docling para resolver el desafío específico de analizar documentos financieros complejos, asegurando que los datos tabulares y los símbolos matemáticos se conserven durante el proceso de recuperación.
3. Sinergia entre RAG y CoT: Se mostró que un enfoque RAG "básico" (recuperar contexto e inyectarlo en la solicitud) es suficiente cuando se combina con un modelo que posee un fuerte razonamiento interno de Cadena de Pensamiento, eliminando la necesidad de ajuste fino complejo o motores de razonamiento externos.
4. Evaluación Específica del Dominio: Se proporcionó un análisis granular del rendimiento del modelo en 14 materias CA distintas, destacando fortalezas y debilidades específicas en áreas como Fiscalización vs. Matemáticas Empresariales.

4. Resultados

• Precisión General: CA-ThinkFlow logró un Coeficiente de Confiabilidad Escolar (SRC) del 68.75%, igualando el rendimiento de GPT-4o y Claude 3.5 Sonnet, y superando significativamente al modelo base 14B-DeepSeek-R1 (46.87%) y a otros modelos de código abierto como LLaMA-3.3-70B (59.38%).
• Rendimiento por Nivel:
  • Nivel de Fundación: Logró una precisión del 80.39%, superando a todos los demás modelos.
  • Nivel Final: Logró una precisión del 48.63%, superando a la mayoría de los modelos excepto GPT-4o y Claude 3.5 Sonnet.
• Perspectivas Específicas por Materia:
  • Fortalezas: El modelo destacó en Matemáticas Empresariales, Economía Empresarial y Gestión Financiera Avanzada.
  • Debilidades (Cuellos de Botella Sistémicos): El sistema luchó con Fiscalización (I3) y Leyes de Impuestos Indirectos (FN5), no logrando superar el "Cuello de Botella Sistémico" (definido como una materia donde ningún modelo supera el 40% de precisión). Esto indica que, incluso con RAG, el modelo base carece del conocimiento regulatorio profundo requerido para la lógica fiscal compleja sin un ajuste fino adicional.
• Eficiencia: El marco opera efectivamente en hardware de nivel de consumidor (GTX 1080 Ti), demostrando que la IA financiera de alta precisión no requiere necesariamente clusters masivos de GPU.

5. Significado y Trabajo Futuro

• Significado: El artículo valida que la eficiencia en parámetros y la augmentación por recuperación pueden cerrar la brecha entre modelos pequeños, privados y rentables y los LLM propietarios masivos en dominios financieros de alto riesgo. Ofrece un camino viable para desplegar IA privada y cumplida en el sector CA indio sin depender de APIs costosas basadas en la nube.
• Limitaciones: El sistema actualmente no logra resolver completamente el razonamiento regulatorio complejo en Fiscalización, lo que sugiere que la recuperación por sí sola es insuficiente para la lógica legal altamente matizada.
• Direcciones Futuras:
  • Desarrollar pipelines de recuperación avanzados para la síntesis de múltiples fragmentos y la escalabilidad dinámica del contexto.
  • Implementar Ajuste Fino Supervisado (SFT) específico del dominio en estatutos financieros indios para profundizar el conocimiento regulatorio del modelo antes de la recuperación.
  • Integrar actualizaciones en tiempo real de la regulación fiscal y soporte multilingüe para crear un sistema de IA financiera de nivel experto desplegable.