Tiny but Mighty: A Software-Hardware Co-Design Approach for Efficient Multimodal Inference on Battery-Powered Small Devices
O artigo apresenta o NANOMIND, um framework de co-design hardware-software que otimiza a inferência de Modelos Multimodais Grandes em dispositivos portáteis com bateria, dividindo os modelos em módulos executados em aceleradores heterogêneos para reduzir o consumo de energia e o uso de memória, permitindo assistentes inteligentes autônomos e totalmente locais.